由 CSDN 舉辦的 NVIDIA AI Inference Day - 大模型推理線上研討會,將幫助您了解 NVIDIA 開源大型語言模型(LLM)推理加速庫 TensorRT-LLM及其功能,使用 NVIDIA TritonTM推理服務器進行端到端部署 LLM Serving,以及金融行業的 AI、NLP/LLM 應用場景、客戶案例。
通過本次活動,您將了解基于上述產品的 LLM 推理加速和部署的服務化實現管道、性能收益,以及金融行業加速計算解決方案,為您 LLM 和生成式 AI 開發的增效降本提供領先的技術路線參考和知識儲備。建議 AI 領域的數據科學家、AI 開發者和程序員、MLOps,DevOps,IT 運維及 leader,參與本次線上研討會。
NVIDIA TensorRT-LLM 和 Triton 是 NVIDIA AI Enterprise 的一部分(https://www.nvidia.cn/data-center/products/ai-enterprise/), 這是一款端到端的 AI 軟件平臺,為企業級的安全、穩定、管理和支持任務提供至關重要的 AI 推理解決方案。
注冊報名 NVIDIA AI Inference
Day - 大模型推理線上研討會
活動日程

2023/10/26 19:30 – 21:00
研討會將涵蓋以下主題:
1. 利用 NVIDIA TensorRT-LLM 加速大模型推理
NVIDIA TensorRT-LLM 簡介:產品定位,與原有產品的關系
現支持的模型
現支持的主要功能,如 KV-cache,各種量化方法等
性能
未來路線圖
2. 基于 NVIDIA Triton 推理服務器端到端部署 LLM serving
NVIDIA TensorRT-LLM 的任務調度方案,in-flight batching 的基礎原理
NVIDIA Triton 推理服務器的 TensorRT-LLM backend 介紹
基于 Triton 端到端部署 LLM 的完整解決方案(以 Llama 2 70B 為例)
相關 benchmark 參考結果
3. 金融行業 AI 應用場景分享與 NVIDIA 加速計算解決方案介紹
金融行業 AI 應用場景及客戶案例
NLP/LLM 在金融行業的潛在應用場景
NVIDIA 針對金融場景的加速計算解決方案
演講嘉賓

季光
NVIDIA GPU 加速計算專家團隊經理

盧翔龍
NVIDIA 資深解決方案架構師

史永明
NVIDIA 工程與解決方案架構經理
參與方式

微信識別上方二維碼,注冊參加本次活動
相關資料
快速上手 TensorRT-LLM 的資源如下:
訪問 GitHub 倉庫,獲取開源代碼:https://github.com/NVIDIA/TensorRT-LLM
探索 TensorRT-LLM 的示例代碼:https://github.com/NVIDIA/TensorRT-LLM/tree/release/0.5.0/examples
benchmark:https://nvidia.github.io/TensorRT-LLM/performance.html
以及用戶手冊:https://nvidia.github.io/TensorRT-LLM/index.html
原文標題:周四研討會預告 | 注冊報名 NVIDIA AI Inference Day - 大模型推理線上研討會
文章出處:【微信公眾號:NVIDIA英偉達】歡迎添加關注!文章轉載請注明出處。
-
英偉達
+關注
關注
22文章
3847瀏覽量
91970
原文標題:周四研討會預告 | 注冊報名 NVIDIA AI Inference Day - 大模型推理線上研討會
文章出處:【微信號:NVIDIA_China,微信公眾號:NVIDIA英偉達】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
PI在線研討會活動預告
2025電子設計與制造技術研討會
Imagination 系列研討會 |中國生成式 AI 的發展

飛騰成功舉辦散熱技術應用發展研討會
精彩回顧 : 向新而行 云啟未來——2024高云FPGA線上技術研討會

Atlassian研討會預告 | 探討AI在服務管理中的應用現狀、實戰案例、面臨的挑戰與趨勢等

MathWorks公司將舉辦線上專題研討會
瑞薩電子邊緣AI技術研討會亮點一覽
開始報名!PCB/封裝設計及系統 SI/PI/Thermal 仿真專場研討會——2024 Cadence 中國技術巡回研討會

CET中電技術與您相約2024廣東高校綠色低碳校園建設研討會

啟揚智能受邀參加2024恩智浦技術巡回研討會

回顧:高云半導體成功舉辦22nm產品及方案研討會

評論