電子發燒友網報道(文/吳子鵬)近一段時間,在各種人工智能相關的大會上,具身智能已經成為共同的話題,并且有很多人將2024年定義為具身智能產業發展元年,因為此前都是概念性探索,今年則是開始切實地需求落地。
根據中國計算機學會的定義,具身智能橫跨人工智能、機器人學習、計算機視覺等學科,屬于有物理身體的智能體通過與物理環境進行交互,從而獲得智能的人工智能研究范式。那么,如果工程師想要搭建自己的具身智能創新方案,該如何做呢?
那么,在這里我們向大家推薦英偉達的Jetson Thor芯片方案以及相關的配套資源。
專門為機器人應用打造的Jetson Thor
1950年圖靈首次提出具身智能概念,但在那之后具身智能并沒有取得很大進展,很重要的原因就是基于當時的軟硬件資源,具身智能簡直就是天方夜譚。在ITF World 2023半導體大會上,英偉達創始人兼首席執行官黃仁勛重提具身智能,他認為人工智能下一個浪潮將是具身智能”。
在GTC 2024上,英偉達發布了專為人形機器人打造的Jetson Thor芯片平臺,這款芯片融入了非常多的英偉達關于具身智能發展的“know how”。在Jetson Thor發布之前,英偉達在機器人領域已經發布了多款芯片方案,包括Jetson Orin、Jetson Orin Nano和Jetson AGX Xavier等。
Jetson硬件路線圖,圖源:英偉達
并且,正如英偉達所言,每一款Jetson系列產品都是一個完整的系統模組 (SOM),其中包括 GPU、CPU、內存、電源管理和高速接口等。以Jetson Orin模組為例,最高可提供高達每秒 275萬億次浮點運算 (TOPS)的算力,擁有4GB到64GB內存配置,模組功耗在7瓦到60瓦之間。
Jetson Thor延續了Jetson系列高性能的傳統,可提供每秒800萬億次8位浮點運算AI性能,并集成功能安全處理器、高性能CPU集群和100GB以太網帶寬。正如筆者此前文章提到的,Jetson Thor基于英偉達Blackwell架構,保證了該芯片的高性能。和英偉達上一代Hopper架構相比,Blackwell架構在各項性能方面都帶來了數倍的提升。并且,Blackwell Tensor核心增加了新的精度,基于該架構打造的第二代Transformer引擎支持4位浮點數AI推理,計算能力和模型規模提高一倍。
根據英偉達的介紹,Jetson Thor能夠執行復雜的任務并安全、自然地與人和機器交互,具有針對性能、功耗和尺寸優化的模塊化架構。
圍繞Jetson系列豐富的開發資源
如上所述,英偉達Jetson系列是面向機器人開發的解決方案,滿足各種應用的性能和預算需求。在這套方案中,除了高性能、高度集成的芯片平臺,還有豐富的配套資源。
比如,面向產品開發的開發者,Jetson系列整合JetPack SDK、Metropolis微服務、生產就緒的Isaac ROS軟件包和特定于應用程序的參考AI工作流程。
JetPack SDK是Jetson軟件堆棧的源頭,提供Jetson Linux、開發人員工具、CUDA-X加速庫和其他NVIDIA技術。JetPack SDK構建了用于各種機器人應用的底層能力,借助JetPack SDK,開發者可以使用TensorRT和cuDNN用于加速AI推理,CUDA用于加速通用計算,VPI用于加速計算機視覺和圖像處理,Jetson Linux API用于加速多媒體,libArgus和V4l2用于加速相機處理。
同時,借助Jetson Linux,開發人員可以開發各種應用程序,工具包中包含Linux內核、引導加載器、NVIDIA驅動程序、閃爍實用程序、示例文件系統和Jetson平臺的工具鏈,使得應用程序開發非常迅捷。總結來說,在JetPack SDK中,擁有非常豐富的細分功能的SDK,工程師朋友可以根據自己的需要去選擇。
我們再看一下Isaac ROS軟件包,它是一個用于機器人操作系統的軟硬件加速包,包括多個開源選項。Isaac ROS提供具有圖像處理和計算機視覺功能的單個軟件包(GEM)和完整管道(NITROS),幫助機器人應用構建高吞吐量的感知系統;模塊化軟件包的Isaac ROS讓開發人員可以根據自己的需要來替換部分算法;Isaac ROS擁有非常出色的兼容性,能夠大幅縮短機器人方案的開發周期。總之,Isaac ROS是一個功能豐富且模塊化的感知軟件包,為機器人應用程序帶來高性能感知和硬件加速。
面向教育工作者、學生和發燒友,英偉達也提供Jetson Nano開發者套件,能夠幫助這類型的開發者進行教授、學習和開發AI與機器人融合的方案。
除了豐富的配套開發資源,我們還要重提英偉達在具身智能大模型方面的先進理念,英偉達Project GR00T人形機器人基礎模型是一個VLA類型的模型,具備語言、動作和專業機器人知識模態,是未來具身智能開發的主流模型路線。這些知識和資源,開發者都可以從英偉達GR00T項目或者 Isaac工具組合中去獲取。
結語
英偉達Jetson Thor芯片是該公司專門為機器人應用打造的高性能推理芯片,也是Jetson系列面向未來具身智能應用給出的硬件解決方案,高算力、高度集成和一體化方案是該平臺的特點。
同時,英偉達還提供了豐富的軟件資源,從最底層的SDK到操作系統層面都可以找到相關的資源,實現具身智能等機器人應用的快速開發。
-
機器人
+關注
關注
211文章
28640瀏覽量
208395 -
英偉達
+關注
關注
22文章
3847瀏覽量
91964 -
人形機器人
+關注
關注
3文章
496瀏覽量
16799 -
具身智能
+關注
關注
0文章
55瀏覽量
100
發布評論請先 登錄
相關推薦
評論