近日，NVIDIA研究團隊率先開發(fā)出了一種基于深度學習的系統(tǒng)，該系統(tǒng)可教會機器人僅通過觀察人類行為就能夠完成任務。該方法旨在增強人類與機器人之間的溝通，同時推進人類與機器人無縫協(xié)同工作的研究進程。

在其論文中，研究人員表示：“為了讓機器人在現(xiàn)實世界中執(zhí)行有用的任務，必須簡單地將任務傳達給機器人；這包括預期結(jié)果以及任何與實現(xiàn)該結(jié)果的最佳方法有關(guān)的提示。借助演示，用戶可以向機器人傳達任務，并提供線索，以幫助機器人更好地完成任務。”

通過NVIDIA TITAN X GPU，研究人員訓練了一系列神經(jīng)網(wǎng)絡，用于執(zhí)行與感知、程序生成及程序執(zhí)行相關(guān)的任務。結(jié)果顯示，機器人能夠通過現(xiàn)實世界內(nèi)的單次演示而學習任務。

該方法的工作方式具體為：

通過攝像頭來獲取某場景的實時視頻流，隨后由一對神經(jīng)網(wǎng)絡實時推理該場景內(nèi)目標的位置與關(guān)系。

由此生成的感知被傳輸?shù)搅硪粋€網(wǎng)絡，并生成用于解釋如何重建這些感知的計劃。

最后，執(zhí)行網(wǎng)絡讀取該計劃，并為機器人生成動作；同時會考慮到當前場景的狀態(tài)，以確保應對外部干擾的穩(wěn)健性。

機器人看到任務后，即生成人類可讀的步驟描述，這是重新執(zhí)行任務所必需的環(huán)節(jié)。該描述能夠讓用戶在機器人執(zhí)行之前快速辨別并糾正機器人對人類演示解讀所出現(xiàn)的任何問題。

獲得此項能力的關(guān)鍵在于充分利用合成數(shù)據(jù)來訓練神經(jīng)網(wǎng)絡。現(xiàn)有的神經(jīng)網(wǎng)絡訓練方法需要大量帶有標記的訓練數(shù)據(jù)，對這些系統(tǒng)而言是一個瓶頸。通過合成數(shù)據(jù)生成，可以輕松地生成幾乎無限量的標記訓練數(shù)據(jù)。

這也是第一次將以圖像為中心的域隨機化 (image-centric domain randomization)方法用于機器人。域隨機化技術(shù)用于生成具有大量多樣性的合成數(shù)據(jù)，并誘使感知網(wǎng)絡相信所看到的真實數(shù)據(jù)只是其訓練數(shù)據(jù)的另一種變體。研究人員選擇以圖像為中心的方式來處理數(shù)據(jù)，以確保網(wǎng)絡不依賴于攝像頭或環(huán)境。

研究人員表示：“這種感知網(wǎng)絡適用于任何固態(tài)的現(xiàn)實世界物體，它們可以通過其3D邊界立方體(bounding cuboid)來進行合理模擬。盡管在訓練期間從未觀察到真實圖像，但即使在被嚴重遮擋的情況下，感知網(wǎng)絡仍能可靠地檢測到真實圖像內(nèi)的目標邊界立方體?！?/p>

在其演示中，該團隊使用多個彩色方塊和一輛玩具車來訓練目標檢測器。該系統(tǒng)學會了方塊之間的物理關(guān)系，比如方塊堆疊在一起，或者是相鄰放置。

在上述演示視頻中，人類操作員向機器人展示了一組立方體。隨后該系統(tǒng)對其程序進行了推理，并按照正確的順序?qū)⒘⒎襟w放置好。由于其在執(zhí)行過程中考慮到了當前的狀態(tài)，因此該系統(tǒng)能夠?qū)崟r從錯誤中恢復過來。

本周，在澳大利亞布里斯班舉辦的世界機器人與自動化大會（ICRA）上，研究人員將展示其研究論文與成果。

該團隊表示將繼續(xù)探索合成訓練數(shù)據(jù)在機器人操控領域內(nèi)的應用，并研究出將該方法應用于更多場景的能力。