? ?TensorRT 8為醫療、汽車和金融領域的領先企業提供全球最快AI推理性能

　　加利福尼亞州圣克拉拉，太平洋時間2021年7月20日——NVIDIA于今日發布公司第八代AI軟件TensorRT? 8。該軟件將語言查詢推理時間縮短了一半，使開發者能夠從云端到邊緣構建全球最佳性能的搜索引擎、廣告推薦和聊天機器人。

　　TensorRT 8的各項優化為語言應用帶來了創紀錄的速度，能夠在1.2毫秒內運行BERT-Large——全球最廣為采用的基于transformer的模型之一。過去，企業不得不縮減模型大小，而這會導致結果出現大幅偏差?，F在有了TensorRT 8，企業可以將其模型擴大一倍或兩倍，從而大幅提高精度。

　　NVIDIA開發者計劃副總裁Greg Estes表示：“AI模型正以指數級的速度增長。全世界對AI實時應用的使用需求正在激增。這使企業必須部署最先進的推理解決方案。最新版本的TensorRT引入了多項新功能，使企業能夠以前所未有的質量和響應速度向其客戶提供對話式AI應用。”

　　五年來，醫療、汽車、金融和零售等各個領域27，500家企業的超35萬名開發者下載TensorRT近250萬次。TensorRT可部署于超大規模數據中心、嵌入式或汽車產品平臺。

　　最新推理創新

　　除了針對transformer的優化之外，TensorRT 8還通過其他兩項關鍵特性，實現了AI推理方面的突破。

　　其一是稀疏性，這是助力推動NVIDIA Ampere架構GPU性能提升的一項全新技術，它不但提高了效率，還使開發者能夠通過減少計算操作來加速其神經網絡。

　　其二是量化感知訓練，開發者能夠使用訓練好的模型，以INT8精度運行推理，在這一過程中不會損失精度。這大大減少了計算和存儲成本，從而在Tensor Core核心上實現高效推理。

　　廣泛的行業支持

　　行業領導者已將TensorRT用于他們在對話式AI和其他各個領域的深度學習推理應用。

　　Hugging Face是開源AI技術的領導者，其客戶包括全球多個行業領域的大規模AI服務提供商。該公司正與NVIDIA開展密切合作，推出能夠助力實現大規模文本分析、神經搜索和對話式應用的開創性AI服務。

　　Hugging Face產品總監Jeff Boudier表示：“我們正在與NVIDIA開展密切合作，以基于NVIDIA GPU，為最先進的模型提供最佳性能。Hugging Face加速推理API已經能夠為基于NVIDIA GPU的transformer模型提供高達100倍的速度提升。通過TensorRT 8，Hugging Face在BERT上實現了1毫秒的推理延遲。我們十分期待能在今年晚些時候為我們的客戶提供這一性能?！?/p>

　　全球領先的醫療技術、診斷和數字解決方案創新者GE醫療正在使用TensorRT，助力加速早期檢測疾病的關鍵工具——超聲波計算機視覺應用，使臨床醫生能夠通過其智能醫療解決方案提供最高質量的護理。

　　GE醫療心血管超聲首席工程師Erik Steen表示：“臨床醫生需要花費寶貴的時間來選擇和評估超聲圖像。在Vivid Patient Care Elevated Release項目的研發過程中，我們希望通過在Vivid E95掃描儀上實施自動心臟視圖檢測，使這一過程變得更加高效。心臟視圖識別算法將選擇合適的圖像來分析心壁運動。TensorRT憑借其實時推理能力，提高了視圖檢測算法的性能，同時縮短了我們研發項目的產品上市時間?！?/p>

　　可用性

　　TensorRT 8現已全面上市，并免費向NVIDIA開發者計劃成員提供。用戶還可從TensorRT GitHub庫中獲得最新版本插件、解析器和樣本的開放源代碼。