阿里又出黑科技。新的唇語(yǔ)閱讀 AI 系統(tǒng)在識(shí)別準(zhǔn)確率表現(xiàn)上不僅超越基線標(biāo)準(zhǔn)，也優(yōu)于專家級(jí)人類水平，有望為全球近 5 億聽障人士帶來(lái)福音。

阿里巴巴又出黑科技，AI 看唇語(yǔ)知內(nèi)容！

實(shí)際上，能夠從視頻中讀取嘴唇的 AI 和機(jī)器學(xué)習(xí)算法并沒有什么不同。早在 2016 年，來(lái)自 Google 和牛津大學(xué)的研究人員就詳細(xì)介紹了一種系統(tǒng)，該系統(tǒng)可以 46.8％ 的準(zhǔn)確度注釋視頻錄像，這個(gè)表現(xiàn)明顯優(yōu)于專業(yè)唇語(yǔ)識(shí)別人士 12.4％ 準(zhǔn)確度。但是，即使是最先進(jìn)的系統(tǒng)，也難以克服唇語(yǔ)識(shí)別時(shí)的歧義問題，這使唇語(yǔ) AI 的性能一直難以超越音頻語(yǔ)音識(shí)別。

為了追求更好的性能，浙江阿里巴巴公司和史蒂文斯理工學(xué)院的研究人員聯(lián)合設(shè)計(jì)了一種方法，稱為 LIBS，該方法利用從語(yǔ)音識(shí)別器中提取的特征作為唇語(yǔ)識(shí)別時(shí)的補(bǔ)充信息。研究人員表示，LIBS 系統(tǒng)在兩個(gè)基準(zhǔn)測(cè)試中都達(dá)到了業(yè)界領(lǐng)先的準(zhǔn)確度，在識(shí)別字符錯(cuò)誤率方面，LIBS 分別較基線性能高出 7.66％ 和 2.75％。

LIBS 和其他類似的解決方案一樣，都可以幫助聽障人士觀看缺少字幕的視頻。據(jù)估計(jì)，全世界有 4.66 億人患有失能性聽力障礙，約占世界人口的5％。根據(jù)世界衛(wèi)生組織的數(shù)據(jù)，到 2050 年，這一數(shù)字可能會(huì)超過 9 億。

LIBS 會(huì)從說(shuō)話人的視頻中以多種不同尺度提取有用的音頻信息，包括序列級(jí)、上下文級(jí)和幀級(jí)。然后，系統(tǒng)會(huì)識(shí)別這些信息之間的對(duì)應(yīng)關(guān)系，將數(shù)據(jù)與視頻數(shù)據(jù)進(jìn)行對(duì)齊（由于開頭或結(jié)尾有時(shí)會(huì)出現(xiàn)采樣率不一致、視頻和音頻序列的長(zhǎng)度不一致等情況），并利用過濾技術(shù)來(lái)優(yōu)化蒸餾功能。

LIBS 系統(tǒng)架構(gòu)示意圖

LIBS 的語(yǔ)音識(shí)別器和口語(yǔ)閱讀器組件均基于注意力的 seq2seq 體系結(jié)構(gòu)，這是一種機(jī)器翻譯方法，可將序列的輸入（即音頻或視頻）映射到帶有標(biāo)簽的輸出和注意力值上。研究人員對(duì)上述內(nèi)容在 LRS2 和 CMLR 數(shù)據(jù)集上進(jìn)行了訓(xùn)練，LRS2 包含來(lái)自 BBC 的 45000 多個(gè)口語(yǔ)句子，CMLR 則是最大的中文普通話口語(yǔ)語(yǔ)料庫(kù)，包括了來(lái)自中國(guó)網(wǎng)絡(luò)電視臺(tái)網(wǎng)站的 10 萬(wàn)余個(gè)自然句（包括 3000 多個(gè)漢字和 20000 多個(gè)短語(yǔ)）。

不過，研究團(tuán)隊(duì)也表示，由于某些句子長(zhǎng)度太短，該模型難以在 LRS2 數(shù)據(jù)集上實(shí)現(xiàn)“合理的”結(jié)果。（解碼器從少于 14 個(gè)字符的句子中提取相關(guān)信息時(shí)會(huì)遇到困難。）但是，一旦對(duì)最大長(zhǎng)度為 16 個(gè)單詞的句子進(jìn)行了預(yù)訓(xùn)練，解碼器將可以通過對(duì)上下文級(jí)別的知識(shí)進(jìn)行設(shè)置，提高 LRS2 數(shù)據(jù)中句子結(jié)尾部分的質(zhì)量。

研究人員在描述其工作的論文中寫道：“ LIBS 減少了對(duì)無(wú)關(guān)框架的關(guān)注。” “幀級(jí)知識(shí)提煉進(jìn)一步提高了視頻幀特征的可分辨性，使注意力更加集中。”