撰寫文章、編寫代碼、譜寫 Rap,上知天文,下知地理,十八般武藝樣樣精通……從 2022 年底開始,一款由美國人工智能研究實驗室 OpenAI 發(fā)布的自然語言處理工具 ChatGPT 備受關注,成為現(xiàn)象級的 AI 產(chǎn)品,掀起全球的 AI 浪潮。
在以 ChatGPT 為代表的 AI 應用蓬勃發(fā)展的背后,離不開數(shù)據(jù)中心提供的算力支撐。而隨著相關應用的不斷發(fā)展,它們所需的算力將呈指數(shù)級增長,所需的能耗也不容小覷。根據(jù) 2021 年國外研究人員年發(fā)表的研究結(jié)果,部分基于 GPT-3 模型的訓練共消耗1,287 兆瓦時電力,并產(chǎn)生了超過550 噸二氧化碳當量的排放,這相當于一個人往返紐約和舊金山550 次所消耗的二氧化碳量[1]。
Ampere Computing 一直致力于為數(shù)據(jù)中心帶來高性能、高能效的云原生處理器,助力減少環(huán)境足跡,構建綠色數(shù)據(jù)中心,降低總體擁有成本(TCO),以更可持續(xù)的方式為用戶提供更多的綠色算力。在 AI 領域,Ampere 提供的 AI 解決方案具備卓越的推理性能和優(yōu)越的能效,幫助用戶輕松應對算力及能耗的挑戰(zhàn)。
想知道 ChatGPT 如何看待AI 在“減碳”方面的作用嗎?快來參與文末的趣味互動吧!
云原生設計,強力賦能 AI 推理
Ampere Altra Max 基于高性能、高能效及可預測的創(chuàng)新架構,非常適合在云中執(zhí)行 AI 推理工作,不僅可以滿足延遲和吞吐量的要求,而且性能優(yōu)于基于 x86 架構的 CPU。讓我們一起來看一下在 Ampere Altra Max 處理器上運行 AI 推理的收益吧!
開箱即用,暢享便捷體驗
在 Ampere Altra Max 上運行 AI 推理不需要修改或轉(zhuǎn)換已有神經(jīng)網(wǎng)絡,即可在 TensorFlow、PyTorch 或 ONNX 框架上開發(fā)和運行 AI 推理的工作負載。用戶可從 Ampere 或 Ampere 云服務合作伙伴處免費獲得優(yōu)化框架,高效地部署和運行應用程序。同時,Ampere Altra Max 是目前唯一支持 fp16 數(shù)據(jù)格式,并已廣泛可用的云原生處理器,將 fp32 訓練的網(wǎng)絡量化為 fp16 極為簡單,且不會導致明顯的精度損失。
此外,Ampere 還提供一系列不斷優(yōu)化、預訓練的模型,供用戶下載用于演示或在實際應用程序中進行調(diào)整并使用。并且,Ampere Altra Max CPU 還可與 NVIDIA GPU 協(xié)同工作,滿足用戶的訓練需求。
高度可擴展,有效抵抗干擾
憑借創(chuàng)新的可橫向擴展架構,Ampere Altra Max 處理器具有更高的核心數(shù)和出色的單線程性能。結(jié)合所有內(nèi)核可同時一致頻率運行的特性,Ampere Altra Max 的單 CPU 整體性能比目前最好的 x86 服務器更高、更穩(wěn)定,在多租戶的云環(huán)境中對“嘈雜鄰居”的干擾也更具抵抗力。
基準測試,彰顯卓越推理性能
為展示 Ampere Altra Max CPU 在多個具有代表性的 AI 推理任務中的卓越性能,Ampere 按照 MLCommons 指南運行了一系列基準測試(包括計算機視覺和 NLP 應用),部分測試的結(jié)果如下。
計算機視覺方面,使用 SSD ResNet-34 測試典型的對象檢測應用,在 fp32 模式下與比較對象相比,Ampere Altra Max 在低延遲方面最高可領先近 4 倍。在 fp16 模式下,Altra Max 將領先優(yōu)勢擴大了兩倍,同時保持了相同的精度。
在性能功耗比方面,Ampere Altra Max 也具有顯著優(yōu)勢。在 fp16 分辨率下,Ampere Altra Max 的能效與比較對象相比高約 5 倍。而在 fp32 分辨率下,Ampere Altra Max 則擁有高約 2 倍的領先優(yōu)勢。
面對蓬勃發(fā)展的 AI 應用,Ampere AI 解決方案將為 AI 應用和數(shù)據(jù)中心的發(fā)展提供更可持續(xù)的綠色算力支撐,助力解決不斷升級的算力需求和日益突出的環(huán)境問題。一直以來,Ampere 著眼未來、不斷創(chuàng)新,將卓越性能和能效融入到為云定制的解決方案中,助力釋放數(shù)字經(jīng)濟生產(chǎn)力,助推科技產(chǎn)業(yè)在可持續(xù)發(fā)展的道路上一路“狂飆”。
審核編輯:湯梓紅
-
AI
+關注
關注
87文章
31536瀏覽量
270343 -
人工智能
+關注
關注
1796文章
47683瀏覽量
240302 -
云原生
+關注
關注
0文章
252瀏覽量
7986 -
算力
+關注
關注
1文章
1016瀏覽量
14959 -
ChatGPT
+關注
關注
29文章
1570瀏覽量
8062
原文標題:創(chuàng)芯課堂|當 AI 遇上云原生,綠色算力助力開啟 AI 新時代
文章出處:【微信號:AmpereComputing,微信公眾號:安晟培半導體】歡迎添加關注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關推薦
云原生AI服務怎么樣
云原生LLMOps平臺作用
如何選擇云原生機器學習平臺
企業(yè)AI算力租賃模式的好處
什么是云原生MLOps平臺
廣和通開啟端側(cè)AI新時代
企業(yè)AI算力租賃是什么
AI時代算力的重要性及現(xiàn)狀:平衡發(fā)展與優(yōu)化配置的挑戰(zhàn)
存算一體架構創(chuàng)新助力國產(chǎn)大算力AI芯片騰飛
大模型時代的算力需求
HDC2024華為發(fā)布鴻蒙原生智能:AI與OS深度融合,開啟全新的AI時代
![HDC2024華為發(fā)布鴻蒙<b class='flag-5'>原生</b>智能:<b class='flag-5'>AI</b>與OS深度融合,<b class='flag-5'>開啟</b>全新的<b class='flag-5'>AI</b><b class='flag-5'>時代</b>](https://file1.elecfans.com//web2/M00/F3/1D/wKgaomZ4y9mAJ3ziAEzrplVRPls193.png)
軟通動力亮相2024中國移動算力網(wǎng)絡大會,共繪算力網(wǎng)絡新藍圖
![軟通動力亮相2024中國移動<b class='flag-5'>算</b><b class='flag-5'>力</b>網(wǎng)絡大會,共繪<b class='flag-5'>算</b><b class='flag-5'>力</b>網(wǎng)絡新藍圖](https://file1.elecfans.com/web2/M00/E0/3D/wKgZomY4PqCABaH5AAAYHwKWwAM350.jpg)
一圖看懂星河AI數(shù)據(jù)中心網(wǎng)絡,全面釋放AI時代算力
![一圖看懂星河<b class='flag-5'>AI</b>數(shù)據(jù)中心網(wǎng)絡,全面釋放<b class='flag-5'>AI</b><b class='flag-5'>時代</b><b class='flag-5'>算</b><b class='flag-5'>力</b>](https://file1.elecfans.com/web2/M00/C6/49/wKgaomX87SSAEXr2AAFTlT-bC2M298.jpg)
評論