NVIDIA NeMo Megatron 框架; 可定制的大規(guī)模語(yǔ)言模型 Megatron 530B；多GPU、多節(jié)點(diǎn) Triton推理服務(wù)器助力基于語(yǔ)言的AI開發(fā)和部署，推動(dòng)行業(yè)和科學(xué)發(fā)展

加利福尼亞州圣克拉拉市 – GTC – 2021 年 11 月 9 日 – NVIDIA 今日為全球企業(yè)開發(fā)和部署大型語(yǔ)言模型打開了一扇新的大門 —— 使這些企業(yè)能夠建立他們自己的、特定領(lǐng)域的聊天機(jī)器人、個(gè)人助理和其他AI應(yīng)用程序，并能夠以前所未有的水平理解語(yǔ)言中的微妙和細(xì)微差別。

NVIDIA推出了為訓(xùn)練具有數(shù)萬(wàn)億參數(shù)的語(yǔ)言模型而優(yōu)化的 NVIDIA NeMo Megatron 框架、為新領(lǐng)域和語(yǔ)言進(jìn)行訓(xùn)練的可定制大型語(yǔ)言模型（LLM）Megatron 530B以及具有多GPU、多節(jié)點(diǎn)分布式推理功能的NVIDIA Triton推理服務(wù)器。

這些工具與NVIDIA DGX系統(tǒng)相結(jié)合，提供了一個(gè)可部署到實(shí)際生產(chǎn)環(huán)境的企業(yè)級(jí)解決方案，以簡(jiǎn)化大型語(yǔ)言模型的開發(fā)和部署。

“大型語(yǔ)言模型已被證明是靈活且功能強(qiáng)大的，無(wú)需專門的培訓(xùn)或監(jiān)督，即可回答深層次領(lǐng)域問題，翻譯語(yǔ)言，理解和總結(jié)文件，編寫故事和計(jì)算程序?！盢VIDIA應(yīng)用深度學(xué)習(xí)研究副總裁Bryan Catanzaro表示?！盀樾碌恼Z(yǔ)言和領(lǐng)域建立大型語(yǔ)言模型可能仍然是最大的超級(jí)計(jì)算的應(yīng)用，現(xiàn)在這些功能對(duì)全球的企業(yè)也變得觸手可及?！?/p>

NVIDIA NeMo Megatron和Megatron 530B加速大型語(yǔ)言模型開發(fā)

NVIDIA NeMo Megatron是在Megatron的基礎(chǔ)上發(fā)展起來(lái)的開源項(xiàng)目，由NVIDIA研究人員主導(dǎo)，研究大型轉(zhuǎn)換語(yǔ)言模型的高效訓(xùn)練。Megatron 530B是世界上最大的可定制語(yǔ)言模型。

NeMo Megatron框架使企業(yè)能夠克服訓(xùn)練復(fù)雜自然語(yǔ)言處理模型的挑戰(zhàn)。經(jīng)過(guò)優(yōu)化，可以在NVIDIA DGX SuperPOD的大規(guī)模加速計(jì)算基礎(chǔ)設(shè)施上進(jìn)行擴(kuò)展。

NeMo Megatron通過(guò)數(shù)據(jù)處理庫(kù)自動(dòng)處理LLM訓(xùn)練的復(fù)雜性，這些數(shù)據(jù)處理庫(kù)可以攝入、策劃、組織和清理數(shù)據(jù)。利用先進(jìn)的數(shù)據(jù)、張量和管道并行化技術(shù)，它能使大型語(yǔ)言模型的訓(xùn)練有效地分布在成千上萬(wàn)的GPU上。企業(yè)可以通過(guò)NeMo Megatron框架進(jìn)一步訓(xùn)練它以服務(wù)新的領(lǐng)域和語(yǔ)言。

NVIDIA Triton推理服務(wù)器助力實(shí)時(shí)大型語(yǔ)言模型推理

此外，今日發(fā)布的最新NVIDIA Triton推理服務(wù)器中的多GPU、多節(jié)點(diǎn)特性，使大型語(yǔ)言模型推理工作負(fù)載能夠?qū)崟r(shí)在多個(gè)GPU和節(jié)點(diǎn)上擴(kuò)展。這些模型需要的內(nèi)存比單個(gè)GPU甚至是包含多個(gè)GPU的大型服務(wù)器所能提供的還要多，并且，實(shí)際應(yīng)用對(duì)其推理實(shí)時(shí)性有著極高的要求。

通過(guò)Triton推理服務(wù)器，Megatron 530B能夠在兩個(gè)NVIDIA DGX系統(tǒng)上運(yùn)行，將處理時(shí)間從CPU服務(wù)器上的1分鐘以上縮短到半秒，令實(shí)時(shí)應(yīng)用部署大型語(yǔ)言模型成為可能。

全球范圍開發(fā)的大規(guī)模定制語(yǔ)言模型

使用NVIDIA DGX SuperPOD構(gòu)建大型復(fù)雜語(yǔ)言模型的早期客戶包括SiDi、京東探索研究院和VinBrai。

SiDi 是巴西的一家大型AI 研究和開發(fā)機(jī)構(gòu)，已經(jīng)采用三星虛擬助手，供全國(guó) 2 億巴西葡萄牙語(yǔ)者使用。

SiDi 首席執(zhí)行官 John Yi 表示：“SiDi 團(tuán)隊(duì)在 AI 虛擬助理和聊天機(jī)器人開發(fā)方面擁有豐富的經(jīng)驗(yàn)，此類開發(fā)既需要強(qiáng)大的 AI 性能，也需要經(jīng)過(guò)訓(xùn)練并適應(yīng)人類語(yǔ)言不斷變化的細(xì)微差別的專用軟件。NVIDIA DGX SuperPOD 非常適合推動(dòng)我們團(tuán)隊(duì)的先進(jìn)工作，幫助我們?yōu)榘臀鞯钠咸蜒勒Z(yǔ)者提供領(lǐng)先的 AI 服務(wù)。”

京東探索研究院，是以供應(yīng)鏈為基礎(chǔ)的領(lǐng)先技術(shù)和服務(wù)提供商京東的研發(fā)部門，他們利用 NVIDIA DGX SuperPOD 開發(fā) NLP，應(yīng)用于智能客戶服務(wù)、智能零售、智能物流、物聯(lián)網(wǎng)、醫(yī)療健康等領(lǐng)域。

VinBrain，越南的醫(yī)療健康 AI 公司，他們使用 DGX SuperPOD 為 100 家醫(yī)院的放射科醫(yī)生和遠(yuǎn)程醫(yī)療醫(yī)生開發(fā)和部署了一種臨床語(yǔ)言模型。在這些醫(yī)院，已有 600 多名醫(yī)療健康從業(yè)者使用該模型。

供應(yīng)情況

企業(yè)可以利用今天同期發(fā)布的NVIDIA LaunchPad，免費(fèi)體驗(yàn)開發(fā)和部署大型語(yǔ)言模型。行業(yè)組織可以申請(qǐng)加入搶先體驗(yàn)計(jì)劃，了解用于訓(xùn)練大規(guī)模語(yǔ)言模型的 NVIDIA NeMo Megatron 加速框架。

NVIDIA Triton可從NVIDIA NGC目錄中獲得，該目錄是GPU優(yōu)化的AI軟件中心，包括框架、工具包、預(yù)訓(xùn)練模型和Jupyter Notebooks，并可從Triton GitHub repository中獲取開放源代碼。

Triton也包含在NVIDIA AI Enterprise軟件套件中，該套件由NVIDIA優(yōu)化、認(rèn)證和支持。企業(yè)可以使用該軟件套件，在內(nèi)部數(shù)據(jù)中心和私有云的主流加速服務(wù)器上運(yùn)行語(yǔ)言模型推理。

NVIDIA DGX SuperPOD 和 NVIDIA DGX 系統(tǒng) 通過(guò) NVIDIA 的全球經(jīng)銷商提供，這些合作伙伴能夠根據(jù)要求為符合條件的客戶提供詢價(jià)服務(wù)。

免費(fèi)注冊(cè)GTC 2021了解更多，大會(huì)以線上形式舉行，持續(xù)到11月11日。歡迎觀看 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛在 11 月 9 日的 GTC 主題演講的直播以及重播。