“洞悉 Omniverse”系列文章將重點介紹藝術家、開發者和企業如何使用通用場景描述和 NVIDIA Omniverse 的最新技術改變其工作流程。

NVIDIA Isaac Sim 等工具增強了合成數據生成能力，提高 AI 模型性能并加速機器人技術的發展。

可擴展的仿真技術能夠縮短開發時間、降低開發成本，幫助推動自主機器人的未來發展。

通用場景描述(OpenUSD)為虛擬世界的開發提供了一個擴展自如的互通數據框架，機器人能夠在這些世界中學習如何成為一個“合格的”機器人。借助基于 SimReady OpenUSD 的仿真技術，開發人員可以創建無數基于物理世界的場景。

NVIDIA Isaac Sim正在推進基于感知 AI 的機器人仿真。Isaac Sim 是一個基于 NVIDIA Omniverse 平臺構建的參考應用，使開發人員能夠在基于物理學的虛擬環境中對 AI 驅動的機器人進行仿真和測試。

NVIDIA 在 AWS re:Invent 大會上宣布 Isaac Sim 現在可以在NVIDIA GPU驅動的亞馬遜 EC2 G6e 實例上使用。這些功能強大的實例提高了 Isaac Sim 的性能和可訪問性，使高質量機器人仿真具有了更強的擴展能力和更高的效率。

Isaac Sim 的這些進步標志著機器人技術發展的一次重大飛躍。通過在虛擬環境中進行的逼真測試和 AI 模型訓練，企業可以縮短部署時間并提高機器人在各種用例中的性能。

使用合成數據生成推進

機器人仿真技術的發展

Cobot、Field AI、Vention 等機器人公司正在使用 Isaac Sim 對機器人性能進行仿真和驗證，而 SoftServe、Tata Consultancy Services 等公司則使用合成數據對用于各種機器人應用的 AI 模型進行自舉訓練(bootstrap)。

機器人學習的發展與仿真技術密切相關。早期的機器人實驗主要依賴于耗費大量勞動力和資源的試錯。仿真技術是創造達到物理精確環境的重要工具，機器人可以在這些環境中通過試錯進行學習，改進算法，甚至使用合成數據訓練 AI 模型。

物理 AI 指能夠理解物理世界并與之互動的 AI 模型。它代表著下一代自主機器和機器人，例如自動駕駛汽車、工業機械臂、移動機器人、人形機器人，甚至工廠、倉庫等依靠機器人運行的基礎設施。

機器人仿真是“三臺計算機解決方案”中的第二臺計算機。它是物理 AI 開發工作的基石，能夠讓工程師和研究人員在受控虛擬環境中設計、測試和完善系統。

圍繞仿真技術的方法不僅大大減少了與物理原型開發相關的成本和時間，同時還能夠在現實生活中可能不切實際或存在危險的場景中對機器人進行測試，以此提高機器人的安全性。

借助新的參考工作流，開發人員可以使用 OpenUSD NIM 微服務加快生成式 AI 的 3D 合成數據集生成速度。該集成簡化了從場景創建到數據增強的整個過程，實現了更加快速、準確的感知 AI 模型訓練。

合成數據有助于應對訓練各類 AI 模型時所面臨的數據有限、受限或無法獲取的挑戰，尤其是在計算機視覺領域。開發動作識別模型是一個常見的應用場景，能夠從合成數據生成中獲益。

如要了解如何使用 Isaac Sim 創建人類動作識別視頻數據集，請查看關于使用合成數據擴展動作識別模型的技術博客。3D 仿真使開發者能夠對圖像生成進行精確控制，避免出現虛幻失真的情況。

適用于人形機器人的機器人仿真

人形機器人是下一代具身 AI，但它們給機電一體化、控制理論和 AI 的交叉領域帶來了挑戰。仿真技術提供的安全、經濟、多功能的人形機器人訓練和測試平臺，是解決這一挑戰的關鍵。

NVIDIA Isaac Lab是在 Isaac Sim 基礎上構建的統一開源機器人學習框架。借助該框架，開發人員可以通過仿真大規模訓練人形機器人策略。領先的商用機器人制造商正在使用 Isaac Lab 應對日益復雜的動作和交互。

NVIDIA Project GR00T是一個為人形機器人生態系統構建者提供支持的活躍研究項目。該項目開創了 GR00T-Gen 等在 OpenUSD 中生成機器人任務和仿真就緒環境的工作流程。這些環境可用于訓練通用機器人執行操作、移動和導航。

最近發表的 Project GR00T 研究成果還展示了如何使用先進仿真訓練交互式人形機器人。研究人員使用 Isaac Sim 為物理仿真人形機器人開發了一個名為 MaskedMimic 的一站式統一控制器。該控制器能夠根據用戶定義的直觀意圖，在不同地形上產生各種動作。

使用基于物理學的數字孿生

簡化 AI 訓練過程

各個行業的伙伴都在使用 Isaac Sim、Isaac Lab、Omniverse 和 OpenUSD 設計、仿真和部署智能化程度更高、能力更強的自主機器：

Agility使用 Isaac Lab 創建仿真，將所仿真的機器人行為直接遷移到機器人身上，使機器人在被部署到現實世界后更加智能、敏捷和穩健。

Cobot將 Isaac Sim 用于其 AI 驅動的協作機器人 Proxie，以便優化倉庫、醫院、制造現場等的物流。

Cohesive Robotics已將 Isaac Sim 集成到其 Argus OS 軟件框架中，用于開發和部署在高混合制造環境中使用的機器人工作單元。

機器人基礎模型構建商Field AI使用 Isaac Sim 和 Isaac Lab 評估其模型在建筑、制造、石油和天然氣、采礦等行業的復雜、非結構化環境中的性能。

傅利葉使用 NVIDIA Isaac Gym 和 Isaac Lab 訓練其 GR-2 人形機器人，通過強化學習和先進仿真技術加快開發速度、提高適應能力和實際性能。

通過集成 Isaac Sim 和 Omniverse，Foxglove能夠在逼真 3D 環境中進行高效的機器人測試、訓練和傳感器數據分析。

銀河通用使用 Isaac Sim 驗證 DexGraspNet(一個包含 132 萬個 ShadowHand 抓握動作的大規模數據集)的數據生成，通過在 5355 個物體、133 個類別的物體交互上進行可擴展的驗證，提高了機器人手的功能。

Standard Bots正在對其用于制造和加工準備的 R01 機器人進行性能仿真和驗證。

Wandelbots通過將其 NOVA 平臺與 Isaac Sim 集成，創造出基于物理學的數字孿生和直觀的訓練環境，不僅簡化了機器人交互，而且還實現了機器人系統在現實場景中的無縫測試、驗證和部署。

進入 OpenUSD 的世界

NVIDIA 專家和 Omniverse 大使主持的 Office Hours 和 Study Group 直播將為機器人開發人員提供 Isaac Sim 和 Isaac Lab 的技術指導和故障排除幫助。通過 NVIDIA 深度學習培訓中心(DLI)的這一全新免費課程，了解如何開始在 Isaac Sim 中進行機器人仿真。

關于優化 OpenUSD 工作流的更多信息，請瀏覽新的 Learn OpenUSD 自學培訓課程，其中包含了針對 3D 從業人員和開發人員的免費深度學習培訓中心課程。