獲取用戶在虛擬屏幕上的文本輸入，需要克服兩個(gè)難題：首先是通過聲音判斷敲擊的位置；其次是消除噪音干擾。劍橋大學(xué)的研究人員設(shè)計(jì)了一個(gè)AI“偷聽”算法，可以通過監(jiān)聽手指敲擊屏幕的聲音竊取手機(jī)密碼。

盜取密碼，只要聽聽你敲鍵盤的聲音就夠了。

曾經(jīng)，通過鍵盤記錄程序來盜取密碼就已經(jīng)非常可怕了；然而，現(xiàn)在更駭人聽聞的黑科技誕生了！

劍橋大學(xué)的研究人員設(shè)計(jì)了一個(gè)AI“偷聽”算法，只需要通過監(jiān)聽手指敲擊屏幕的聲音，就能夠竊取到手機(jī)密碼：

論文地址：

https://arxiv.org/pdf/1903.11137.pdf

這個(gè)新穎的攻擊方法的原理是將手指敲擊屏幕所產(chǎn)生的聲音，在虛擬鍵盤上恢復(fù)成對(duì)應(yīng)的輸入字符。

論文作者表示：

敲擊屏幕的聲波可以通過設(shè)備的麥克風(fēng)進(jìn)行恢復(fù)，就像“聽到”了手指的觸摸一樣，虛擬屏幕上聲波的失真的這一特征便是敲擊鍵盤的位置。因此，只需要通過內(nèi)置麥克風(fēng)錄下聲音，惡意程序就可以在用戶輸入時(shí)推斷出對(duì)應(yīng)的字符。

實(shí)驗(yàn)原理

針對(duì)鍵盤的聲學(xué)攻擊并不新鮮。

利用麥克風(fēng)，根據(jù)鍵盤獨(dú)特的物理特性或缺陷來識(shí)別物理按鍵的方法已經(jīng)很成熟了，但是在虛擬鍵盤的識(shí)別上存在著很大的困難。因?yàn)樘摂M鍵盤上的點(diǎn)擊發(fā)生在同一個(gè)表面上，需要通過一些特殊的方法來確定手指敲擊的位置。

劍橋大學(xué)的研究團(tuán)隊(duì)開發(fā)了一款app，可以復(fù)原敲擊的聲音，并將其與擊鍵聯(lián)系起來。該程序使用的機(jī)器學(xué)習(xí)算法是離線訓(xùn)練的，并針對(duì)特定的智能手機(jī)或平板電腦模型進(jìn)行調(diào)整。

這個(gè)算法需要克服一個(gè)重大的工程挑戰(zhàn)在于：如何解釋敲擊時(shí)，指尖所產(chǎn)生的干擾振動(dòng)。事實(shí)上，當(dāng)用手指敲擊屏幕的時(shí)候，聲波不僅在空氣中傳播，更重要的是在設(shè)備本身之間傳播。敲擊會(huì)導(dǎo)致屏幕震動(dòng)，而這種震動(dòng)模式，可以被多麥克風(fēng)捕獲并進(jìn)行區(qū)分。

實(shí)際應(yīng)用場景中，噪聲會(huì)極大的影響麥克風(fēng)對(duì)敲擊聲的探測。為了解決這一問題，研究人員將反饋聲音與振動(dòng)反饋進(jìn)行交叉關(guān)聯(lián)，消除振動(dòng)反饋的歧義，同時(shí)除去了振動(dòng)數(shù)據(jù)。

結(jié)果顯示，對(duì)于平板電腦，在20次嘗試中回收了200個(gè)4位pin碼中的61%，即使模型沒有使用受害者的數(shù)據(jù)進(jìn)行訓(xùn)練；對(duì)于智能手機(jī)，恢復(fù)了9個(gè)大小為7-13個(gè)字母的單詞，在一個(gè)常見的側(cè)通道攻擊基準(zhǔn)中嘗試了50次。

實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)設(shè)置

劍橋研究團(tuán)隊(duì)開發(fā)了一個(gè) Android 應(yīng)用程序，參與者分別使用全鍵盤和9宮格數(shù)字鍵盤輸入單詞、任意數(shù)字或4位數(shù)字（PIN碼），橫屏或者豎屏都可以。該app應(yīng)用程序通過內(nèi)置麥克風(fēng)收集音頻。

9宮格數(shù)字鍵盤的尺寸和形態(tài)是固定的，因此只需要在智能手機(jī)上測試豎屏狀態(tài)下的數(shù)字輸入即可。而全鍵盤則需要在手機(jī)和平板上，對(duì)橫屏和豎屏狀態(tài)分別進(jìn)行測試。

參與測試的志愿者在三個(gè)不同的地方完成了這項(xiàng)任務(wù)，分別是

公共休息室。背景中有人在聊天，偶爾會(huì)有一臺(tái)咖啡機(jī)做咖啡的吵聲

閱覽室。背景中人們要么在電腦上打字，要么用很輕的聲音說話

圖書館。都很安靜，但是附近的筆記本電腦持續(xù)發(fā)出咔噠咔噠的聲音

這三個(gè)地方都開著窗戶，因此室外的噪音也摻雜其中。

空氣中聲音的速度取決于溫度，因此數(shù)據(jù)只在白天室內(nèi)收集，溫度在22-25攝氏度之間。實(shí)驗(yàn)設(shè)備關(guān)閉了所有運(yùn)行中的其他app，只打開實(shí)驗(yàn)用的app。

實(shí)驗(yàn)使用的設(shè)備Nexus 5和Nexus 9，尺寸分別為137.84mm×69.17mm×8.59mm和228.2mm×153.7mm×8mm。兩款設(shè)備都有兩個(gè)麥克風(fēng)，擁有標(biāo)準(zhǔn)的采樣率。Nexus 5的主麥克風(fēng)位于設(shè)備底部，副麥克風(fēng)位于頂部。Nexus 9一個(gè)在底部，另一個(gè)在右側(cè)。兩臺(tái)設(shè)備均基于Android 5.1.1 Lollipop系統(tǒng)，該系統(tǒng)目前市場占有率約20%。

Nexus 5

Nexus 9

由于Android 5.1.1禁止對(duì)PIN輸入使用反饋機(jī)制，所以只對(duì)文本輸入進(jìn)行了測試。值得注意的是：由于該方式比較新穎，缺乏標(biāo)準(zhǔn)的基準(zhǔn)測試，讀者可以自行評(píng)估以下兩個(gè)結(jié)論：

對(duì)小型虛擬鍵盤的攻擊與對(duì)大型物理鍵盤的攻擊效果差不多

盡管面對(duì)噪音這一強(qiáng)干擾項(xiàng)，該方式仍然能夠獲得同使用其他探測器類似的效果

數(shù)據(jù)收集

實(shí)驗(yàn)共有45名參與者，其中21位女性、24位男性；實(shí)驗(yàn)共獲得30個(gè)小時(shí)的音頻數(shù)據(jù)。實(shí)驗(yàn)分為4個(gè)部分：

第一組測試者每人隨機(jī)敲擊9宮格數(shù)字鍵盤10次，每次1個(gè)數(shù)字

第二組測試者每人敲擊9宮格鍵盤200次，每次4個(gè)數(shù)字

第三組測試者隨機(jī)敲擊全鍵盤上的字母

第四組測試者敲擊全鍵盤，輸入NPS聊天語料庫中的5個(gè)字母的單詞

表1所有字母和單詞輸入實(shí)驗(yàn)的摘要

單個(gè)數(shù)字推斷

第一次嘗試進(jìn)行單一數(shù)字分類時(shí)的訓(xùn)練、測試和與主題無關(guān)(即LOSO)的準(zhǔn)確性如表2所示。

表2Nexus 5智能手機(jī)的個(gè)位數(shù)分類精度

對(duì)于與主題無關(guān)的情況（LOSO），標(biāo)準(zhǔn)偏差更高。

在最壞的情況下，僅使用底部麥克風(fēng)，預(yù)測數(shù)字會(huì)比隨機(jī)猜測略好；但在最好的情況下，幾乎一半的數(shù)字在第一次嘗試時(shí)被正確預(yù)測。 頂部麥克風(fēng)的結(jié)果仍然較高，在最差情況下為兩倍，在最佳情況下為85％。 使用兩個(gè)麥克風(fēng)，正確預(yù)測在最壞情況下比隨機(jī)猜測好3倍；和100％的數(shù)字在最好的情況下。

當(dāng)一個(gè)數(shù)字預(yù)測不正確時(shí)，分類器會(huì)快速糾正它(根據(jù)分類器生成的預(yù)測的置信值對(duì)猜測進(jìn)行排序)。例如，使用兩個(gè)麥克風(fēng)(如上圖所示)，30%的錯(cuò)誤預(yù)測在第一次嘗試后被修正，另外20%在第二次嘗試時(shí)被修正。固定的速度然后變得平緩。這意味著，在三次嘗試中，分類器正確地預(yù)測了80%以上的數(shù)字。

4位數(shù)字推斷

4位PIN的預(yù)測結(jié)果如下圖所示。

使用單個(gè)麥克風(fēng)，10次嘗試后可以恢復(fù)54％的PIN。通和先前工作進(jìn)行了比較發(fā)現(xiàn)，在很多情況下往往表現(xiàn)的更好，在其他方面也不輸給先前工作。例如，使用兩個(gè)麥克風(fēng)，只需20次嘗試就可以恢復(fù)91/150個(gè)PIN碼，并不需要知道PIN碼的分布情況，也不需要知道后續(xù)點(diǎn)擊之間的時(shí)間間隔。

字母和單詞推斷

全鍵盤的預(yù)測結(jié)果，如表3所示。

表3單字符分類精度為26類

如果同時(shí)使用一個(gè)麥克風(fēng)進(jìn)行LOSO和測試，要比隨機(jī)猜測高出三倍。頂部麥克風(fēng)捕獲的聲音，比來底部麥克風(fēng)產(chǎn)生更好的效果。

實(shí)驗(yàn)還發(fā)現(xiàn)，在手機(jī)上豎屏要比橫屏效果更好；而平板上則沒有太大區(qū)別。

實(shí)驗(yàn)結(jié)果表明，依靠TrustZone等隔離機(jī)制來保護(hù)用戶輸入并不總是足夠的。

移動(dòng)設(shè)備可能需要更豐富的功能模型，更加用戶友好的傳感器使用通知系統(tǒng)以及對(duì)底層硬件泄漏的信息的更全面評(píng)估。