MIT計算機與人工智能實驗室的研究人員開發(fā)了一種基于Wi-Fi的人體姿態(tài)估計系統(tǒng)，用AI教會Wi-Fi“穿墻透視”，隔著墻也能進行精確的人體姿態(tài)估計。

人體姿態(tài)估計是計算機視覺研究中的一個重要課題，在生活中也有著廣泛的應用場景，比如安防、自動駕駛、智能家居等等。不過，在實際應用中，基于視覺或者說基于可見光的人體姿態(tài)估計有一個重大的局限，那就是障礙物遮擋——光線無法穿透書柜、墻壁等不透明的物體，如果身體被遮擋就無法去估計。

在一項最新的研究中，MIT人工智能實驗室（MIT CSAIL）團隊，設計了一個基于Wi-Fi的人體姿態(tài)估計系統(tǒng)，能夠穿透墻壁進行精確的人體姿態(tài)估計，取得了Wi-Fi人體姿態(tài)識別的歷史最高精度。這項工作大大拓寬了人體姿態(tài)估計系統(tǒng)的適用范圍，有很強的應用價值。

相關的研究論文已經被CVPR 2018接收，作者是Dina Katabi教授和她的博士生趙明民(論文第一作者)、MIT教授Antonio Torralba、博士后Mohammad Abu Alsheikh、博士生黎天鴻、田永龍和趙行。他們將CVPR 2018上展示這項工作。

MIT CSAIL最新研發(fā)的Wi-Fi人體姿態(tài)估計系統(tǒng)，能夠穿墻透視。來源：MIT CSAIL

穿墻透視，用Wi-Fi識別人體姿態(tài)

人體姿態(tài)估計，就是將一幅圖像或一段視頻中，人的頭、手、軀干和腿部關節(jié)點位置恢復出來，做出一個由關節(jié)點構成的骨架（見下圖）。

MIT的WiFi人體姿態(tài)估計系統(tǒng)，在人走到墻后時也能提取關鍵點，生成人體姿態(tài)關節(jié)點骨架。最上面一行是RGB圖，中間是置信點圖，最下面一行就是關節(jié)點骨架。來源：MIT CSAIL

當有遮擋物存在時，過去常用的方法是推斷，也即設計算法根據看得見的部分去推測被遮擋的身體部分的情況。但是，由于人體是在不斷在運動的，推斷很容易出錯。此外，當一個人完全被遮擋，比如說走到一堵墻的后邊時，這種方法就行不通了。

MIT CSAIL的團隊提出了一種完全不同的解決方案。他們的出發(fā)點很簡單：如果可見光會被這些障礙物阻擋，那么就改用其他信號。無線信號，比如Wi-Fi，就能穿透墻壁，而且Wi-Fi還有一個好處是會被人體反射，非常適合用來進行“穿墻”人體追蹤。

但是，過去的Wi-Fi系統(tǒng)雖然能穿墻找到人的位置，或者生成一個大致的輪廓，結果還是比較粗糙的，遠遠沒有達到視覺人體姿態(tài)估計系統(tǒng)的精細程度，沒有對人體關節(jié)部位進行準確定位。

為了解決無線信號精度低的問題，這一次研究人員使用了“AI教學”的方法。他們訓練了一個神經網絡，讓這個神經網絡從無線信號中學習并估計人體姿態(tài)。

AI教學，青出于藍而勝于藍

不過，這里又遇到了一個難點，就是如何為這個神經網絡提供訓練樣本。基于圖片或視頻的人體姿態(tài)識別系統(tǒng)，訓練樣本可以由人手工來標注。但在訓練基于無線信號的神經網絡時，這個方法就行不通了，因為人看不見Wi-Fi信號，也無法從無線信號中看出人的姿態(tài)，更無從教會神經網絡了。

“我們的解決方法是跨形態(tài)的監(jiān)督學習。”研究論文的第一作者、MIT博士生趙明民告訴新智元：“這里面的想法也很簡單，就是同時采集圖片和無線信號，并使用基于圖片的神經網絡來訓練基于無線信號的神經網絡。”

研究人員使用一個基于圖片的神經網絡來做“老師”，另一個基于無線信號的神經網絡來當“學生”。老師看圖片知道里面的人體姿態(tài)然后告訴學生，學生則需要學會從無線信號中也找到同樣的結果。通過這樣的方法訓練出來的“學生”神經網絡，就具備了利用無線信號識別人體姿態(tài)的能力。

很有趣一點，“學生”神經網絡不僅學會“老師”教他的內容，還學到了“老師”都無法做到的事情，可謂青出于藍而勝于藍：雖然“老師”示范的都是沒有障礙物的情況，基于無線信號的“學生”也學會了在有障礙物的情況下估計人體姿態(tài)，甚至是穿墻透視。

他們新提出的這個系統(tǒng)，名叫RF-Pose，可以解析無線信號并從中提取出精確的2D人體姿勢，即使有墻壁遮擋也一樣。下面的視頻展示了RF-Pose人體姿態(tài)估計跟蹤實例。

RF-Pose人體姿態(tài)估計演示。

創(chuàng)下Wi-Fi人體姿態(tài)識別史上最高精度

RF-Pose展現(xiàn)出了十分優(yōu)秀的性能：能夠穿墻透視，用于光線昏暗的場景，即使在沒有遮擋物的情況下，它的精度也與當前性能最優(yōu)的基于視覺的系統(tǒng)相當。

RF-Pose超越了當前最好的基于視覺的人體姿態(tài)估計系統(tǒng)：第一行是RGB圖像；第二行是RF-Pose的結果，這是僅從無線信號中學習到的人體骨架；第三行是OpenPose的結果，這是當前性能最好的基于視覺的人體姿態(tài)估計系統(tǒng)。在有遮擋、光線昏暗等場景中，RF-Pose性能明顯更優(yōu)。來源：研究論文

RF-Pose的結構示意：由學生和老師兩個神經網絡構成。上面是“老師”神經網絡，提供訓練監(jiān)督，下面是“學生”神經網絡，僅使用RF熱圖提取人體姿勢。在訓練過程中，系統(tǒng)使用同步的無線信號和視覺輸入，從視覺流中提取姿態(tài)信息，并使用這些信息來指導訓練過程。訓練完畢后，網絡只需使用無線信號進行姿態(tài)估計。其結果是，該系統(tǒng)只需利用無線信號來估計人體姿勢，而不需要人類標注作為監(jiān)督。來源：研究論文

除了跨形態(tài)監(jiān)督之外，RF-Pose的設計還考慮了RF信號的內在特性，包括低空間分辨率、人體在穿過墻壁時對RF頻率的鏡面反射，以及RF信號與監(jiān)控視頻流在表示和透視上的差異。

研究人員利用在校園周圍公共環(huán)境中收集的數(shù)據來訓練和測試RF-Pose。這個數(shù)據集包含數(shù)百個不同的人進行不同的室內活動：走路、坐、走樓梯、等電梯、開門、和朋友聊天等。他們在不同的環(huán)境下進行測試和訓練，以確保網絡能夠推廣到新的場景。

此外，實驗結果還表明，從RF信號中學習到的人體骨架，能夠準確地反映一個人在移動時的特征。研究人員進行了一個實驗，他們訓練了一個CNN分類器，讓這個分類器基于RF骨架識別人群中的某個人，發(fā)現(xiàn)準確率可以達到83%以上。

趙明民表示，這項研究有很多應用前景。很多疾病，例如帕金森、老年癡呆，都會反映在日常動作中，基于無線信號的人體姿態(tài)估計可以在家里，通過觀察分析我們的動作來幫助這些疾病的診斷治療。

在安防領域，受障礙物的影響，很多時候需要在各個角度安裝很多設備，這時候無線設備的穿墻能力就能發(fā)揮用處。

無人駕駛也可以考慮結合視覺和無線信號來做感知。無線信號能更好的穿透霧等障礙，能在極端天氣和光照條件下提供魯棒性。無線信號也可以提前幫助汽車判斷障礙物后面是否有行人。

研究人員表示，未來他們計劃進一步拓展這個系統(tǒng)，從2D到3D，將無線感知與視覺相結合，提供更豐富的信息。