自動駕駛是機器人技術和機器學習中的一項重大挑戰，旨在改善所有人的出行方式。盡管過去十年取得了巨大的進展，現有的自動駕駛軟件在處理極其罕見的長尾場景方面依然存在局限性。因此，實時檢測并對突發異常做出響應，對于確保安全性和可靠性至關重要。

本期 NVIDIA 自動駕駛實驗室介紹了，生成式 AI 技術被用于增強自動駕駛系統的安全性。在這項 NVIDIA 與斯坦福大學的合作中，雙方共同開發了一個算法，基于互聯網規模數據上訓練的基礎模型，如大語言模型（LLM）。該算法展現出了零樣本泛化的能力，能夠有效檢測和緩解機器人系統的分布外故障模式。這一合作成果在 RSS（Robotics：Science and Systems）2024 上榮獲優秀論文獎。

此外，NVIDIA 的快速異常分類器在資源和時間受限的情況下，也能夠提高動態機器人系統的可信度，如四旋翼飛行器和自動駕駛車輛，其性能優于運用最先進 GPT 模型的自回歸推理。這些技術亮點展示了 NVIDIA 在實時異常檢測領域的最新進展，也為自動駕駛車輛的實際應用提供了強有力的技術支持。

NVIDIA 提供的物理和具身智能平臺能夠支持 LLM 在實際應用中的部署。例如NVIDIA DRIVE用于自動駕駛汽車，NVIDIA Isaac用于 AI 機器人。而NVIDIA Omniverse平臺是構建仿真流程以開發和測試 AI 驅動的自動駕駛和機器人的關鍵工具，利用 Omniverse 中的生成式 AI 可以生成復雜的、罕見的駕駛場景。通過這樣的綜合策略，可以將 LLM 整合到嚴格的安全規范中，例如安全監管、冗余設計和仿真測試。

相關資料

利用大語言模型進行實時異常檢測和反應式規劃

本文提出了一個實時檢測和決策框架，該框架利用大語言模型（LLM）的零樣本泛化功能，在面對具有挑戰性的異常或極端情況時，促進對自主系統的安全和實時控制。這是通過推理層次結構實現的：一個快速異常檢測器，用于查詢機器人在 LLM 嵌入空間中先前經驗的相似性，以及一個慢速生成推理器，用于評估檢測到的異常安全影響并選擇適當的緩解策略。這些推理器與一種新的模型預測控制策略相配合，保持了多種安全行動規劃的可行性。