人類每天都在進行不同層次的規(guī)劃活動，比如說每天早上起床以后，你習(xí)慣性走到廚房喝一杯咖啡：你會先走下走廊，左轉(zhuǎn)進入過道，然后進入右邊的房間。

對于這些習(xí)慣成自然的流程，你無需思考，不會刻意去想你要使用哪一個肢體動作。但對于機器人而言，這并非易事。

Facebook剛剛發(fā)布了主導(dǎo)研究的新系統(tǒng)，讓機器人也可以通過觀看視頻，拆解動作，并學(xué)習(xí)如何組合這些動作形成自己的規(guī)劃。

層級抽象結(jié)構(gòu)（hierarchal abstractions）

已經(jīng)有越來越多的研究表明，層級抽象結(jié)構(gòu)（即視覺運動子程序）可以提高強化學(xué)習(xí)中的采樣效率，這是一種利用獎勵驅(qū)動智能體達到目標的AI訓(xùn)練技術(shù)。

在過去，這些層次結(jié)構(gòu)必須通過端到端的訓(xùn)練來手動編碼或獲取，而這需要大量的時間、注意力和長久的耐心。

Facebook這次的新研究提出，刻意讓機器人通過觀看視頻學(xué)習(xí)導(dǎo)航，描述一個通過用逆向機器學(xué)習(xí)模型攝取視頻偽標簽（在本文中，偽標簽指智能體想象的行為），從而學(xué)習(xí)層次結(jié)構(gòu)的系統(tǒng)。

論文作者分別來自Facebook AI研究室，加州大學(xué)伯克利分校和伊利諾伊大學(xué)厄巴納—香檳分校。

這讓人想起去年Facebook開源的一組模型——Talk the Walk。它只需要360°的全景圖像、自然語言以及一張有當(dāng)?shù)氐貥耍ū热玢y行和餐館）的地圖就可以通過問路，實現(xiàn)在整個紐約市的街道導(dǎo)航。

具體實現(xiàn)方式

機器人通過觀看這些視頻，研究這些簡單的視覺運動子程序是如何組合以達到高級的抽象層次，這些視覺運動子程序能夠解決一些已知問題，即經(jīng)典的規(guī)劃中的高計算成本和強化學(xué)習(xí)中的樣本復(fù)雜性的問題。

研究者提出的系統(tǒng)分為兩個階段，在第一階段，研究人員通過運行在隨機探索數(shù)據(jù)上自我監(jiān)督的智能體模型生成偽標簽。模型從分布在四個環(huán)境中的1500個不同位置學(xué)習(xí)，在不同的位置隨機執(zhí)行30個不同步驟的動作，從而產(chǎn)生45,000個交互樣本。

在系統(tǒng)的第二階段，大約217,000個偽標記視頻被剪輯成220萬個單獨的小視頻，再將其輸入預(yù)測參考視頻中相應(yīng)動作的模型，同時再通過一個單獨的網(wǎng)絡(luò)檢查參考視頻中的動作序列，并編碼其行為作為向量。另一個模型通過推斷第一幀的軌跡的編碼，來預(yù)測哪一個子程序可以調(diào)用給已有的視頻幀。

交互樣本從1000萬減少到4.5萬

在一個部署在辦公環(huán)境的真實世界中的機器人實驗中，研究人員表明，相比單純交互的方法，至少應(yīng)用在之前從未見過的環(huán)境上，通過觀看視頻來學(xué)習(xí)技能（這里指采用最高效的方式前往目標位置）的方式能達到更好的效果。

最令人印象深刻的是，訓(xùn)練有素的模型學(xué)會了自主地前進導(dǎo)航并避開障礙物，比通過單純交互方式要快4倍，這使得機器人能夠做到完全自主地長距離行進。

“特別引人注目的是，這些模型從總計45,000次的環(huán)境交互中學(xué)習(xí)，”研究人員寫道，“從第一視角的視頻中成功學(xué)習(xí)，使得智能體能夠執(zhí)行連貫的軌跡，即使它只執(zhí)行過隨機動作。此外，它優(yōu)于最先進的技能學(xué)習(xí)技術(shù)，該技術(shù)需要更大量的訓(xùn)練樣本，大致1000萬個。”