加利福尼亞州圣克拉拉——Nvidia通過一個名為TensorRT LLM的新開源軟件庫，將其H100、A100和L4 GPU的大型語言模型(LLM)推理性能提高了一倍。

正如對相同硬件一輪又一輪改進的基準測試結果所證明的那樣，在從專用人工智能芯片中擠出盡可能好的性能時，軟件往往與硬件一樣重要。

“我們所做的很大一部分是硬件和軟件的結合，如今英偉達的軟件工程師比硬件工程師多，”英偉達超大規模和HPC計算業務副總裁兼總經理Ian Buck告訴《EE時報》。“這是回到最初的CUDA的決定的一部分，也是交付不僅是一個帶有指令集的芯片，而且是一個完整的堆棧以滿足開發者需求的動機。

他說：“這提供了一個在各個層面進行創新的機會：改變硬件架構、改變指令集、改變編譯器、改變驅動程序、改變工具、庫等等，這樣我們就可以推動整個平臺向前發展。”。“在過去20年的加速計算中，這種情況已經多次出現，人工智能推理也是如此。”

TensorRT-LLM是Nvidia原始深度學習軟件庫的演變，對LLM推理進行了優化。它旨在支持 H100，但也可以應用于 A100 和 L4 部署。

“[在TensorRT-LLM中，我們]確保我們為大型語言模型提供最佳的張量核心優化，”Buck說。“這允許人們采用任何大型語言模型并通過TensorRT-LLM傳遞，以獲得Hopper的變壓器引擎的好處，該引擎使Hopper的FP8計算能力成為可能。而且在生產工作流程中不會有任何準確性損失。

Nvidia 的 Hopper 架構引入了變壓器引擎，這是一個軟件庫，可智能地管理訓練和推理工作負載的精度，以實現最佳性能。Buck說，變壓器引擎需要對所涉及的數學，統計數據和數據有深入的了解，并在Nvidia的編譯器上進行大量工作。它有助于在模型投入生產后保持模型的預測準確性，這可能是一個挑戰。

“你可以很容易地將32位或16位計算塞進FPGA中，但你可能會得到錯誤的答案，因為它沒有你想要的生產級精度，”巴克說。“深思熟慮和謹慎地做到這一點，保持規模和偏差，在某些情況下將計算保持在只有8位的范圍內 - 為模型的某些部分保留FP16 - 這是Nvidia已經努力了一段時間的事情。

TensorRT-LLM還包括一個稱為動態批處理的新功能。

Buck解釋說，LLM工作負載，甚至是同一模型的推理工作負載，都是多種多樣的。LLM從情緒分析等更簡單的用例開始，但今天的LLM可能正在回答問題，閱讀長文本并總結它們，或者為電子郵件，文章，演示文稿等生成長文本或短文本。為LLM推理服務的數據中心也可以為許多不同的用戶提供許多不同的服務。

與現有的AI工作負載相比，現有的AI工作負載在大小上更有可能相似，因此易于批處理，Buck表示，針對同一模型的LLM查詢在大小方面可能會相差幾個數量級，從需要幾毫秒才能完成的查詢到需要幾秒鐘的查詢。模型也可以堆疊，使事情變得更加復雜。

“我們的標準批處理方法總是等待最長的查詢完成，”他說。“圖像查詢大致花費相同的時間——從效率的角度來看，這不是問題，而且查詢可以填充，所以沒什么大不了的。

借助新的動態批處理功能，查詢完成后，查詢可以停用，軟件可以插入另一個查詢，而較長的查詢仍在進行中。這有助于提高具有不同查詢長度的 LLM 的 GPU 利用率。

“坦率地說，結果甚至讓我感到驚訝，”巴克說。“它使Hopper的性能翻了一番。Hopper 是一個非常強大的 GPU，它可以在同一個 GPU 中并行處理大量查詢，但如果沒有動態批處理，如果你給它多樣化的查詢，它會等待最長的查詢，而不會被充分利用。

TensorRT-LLM是開源的，以及Nvidia的所有LLM工作，包括許多LLM模型，如GPT，Bloom和Falcon，這些模型已經通過內核融合，更快的注意力，多頭注意力等技術進行了優化。所有這些操作的內核都作為TensorRT-LLM的一部分開源。

“這使得對性能感興趣的研究人員有一個起點，使其更快，”巴克說。“我們的客戶和用戶很欣賞，如果他們有一個想要部署的特定想法，他們可以針對他們的用例進一步優化一些東西。

創新來自學術界，也來自Meta、Microsoft和谷歌等公司。雖然 Nvidia 與他們合作優化推理，雖然優化可能會成為學術論文，但“世界沒有一個好地方去獲得這些優化，而且 Nvidia 工程師所做的工作沒有得到一個可以幫助世界其他地方的地方分享，“巴克說。

Buck補充說，TensorRT-LLM的性能提升在下一輪MLPerf推理分數中應該是顯而易見的，該分數將于明年春天到期。

審核編輯：彭菁