吴忠躺衫网络科技有限公司

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

ASIC爆火!大廠AI訓(xùn)練推理拋棄GPU;博通的護(hù)城河有多深?

Hobby觀察 ? 來源:電子發(fā)燒友 ? 作者:梁浩斌 ? 2024-12-18 01:25 ? 次閱讀

電子發(fā)燒友網(wǎng)報(bào)道(文/梁浩斌)在上周末,博通應(yīng)該可以說是投資圈和科技圈最火爆的話題,大家紛紛驚呼“英偉達(dá)的對(duì)手終于出現(xiàn)了!”“ASIC要超越GPU”云云。

這一切都要源于上周五博通公布的炸裂財(cái)報(bào),AI業(yè)務(wù)營(yíng)收同比暴增220%,當(dāng)天公司股價(jià)大漲24.43%,市值突破萬億美元,成為第九家市值突破萬億美元的美股上市公司,全球第三家市值超萬億美元的半導(dǎo)體公司。

當(dāng)然,更重要的是對(duì)未來的預(yù)期,博通在數(shù)據(jù)中心高速互連領(lǐng)域有非常大的市場(chǎng)份額,這代表著AI基礎(chǔ)設(shè)施的規(guī)模增長(zhǎng),博通的部分增長(zhǎng)也確實(shí)來自以太網(wǎng)網(wǎng)絡(luò)部件。但除了高速互連之外,博通還正在與一些大型云服務(wù)供應(yīng)商合作,幫助他們開發(fā)定制AI芯片,這部分業(yè)務(wù)的增長(zhǎng)迅速,將會(huì)令博通成為英偉達(dá)的最大挑戰(zhàn)者。

博通的AI芯片布局

博通的傳統(tǒng)優(yōu)勢(shì)是在高速互連方面,比如數(shù)據(jù)中心的以太網(wǎng)傳輸中用到的高速光模塊產(chǎn)品組合,還有在高速互連中使用到的高速SerDes內(nèi)核IP等。而目前博通在AI芯片領(lǐng)域,主要也是提供ASIC解決方案,提供設(shè)計(jì)、廣泛IP組合、先進(jìn)封裝等方案,集成了內(nèi)存、高速SerDes、PCIe接口等IP,以及Arm/Power PC等CPU內(nèi)核。

ASIC即專用集成電路,顧名思義,與英偉達(dá)提供的通用GPU不同,ASIC是專門針對(duì)某種場(chǎng)景或應(yīng)用設(shè)計(jì),目前不少云計(jì)算巨頭都在使用定制的ASIC作為數(shù)據(jù)中心的核心芯片。作為一種專用芯片,在設(shè)計(jì)之初就是為了滿足特定的任務(wù)和算法需求,因此在針對(duì)算法開發(fā)的情況下,計(jì)算效率和能效比都能夠相比通用GPU大幅提高。

比如谷歌去年推出的TPU v5e專為提升中大型模型的訓(xùn)練、推理等任務(wù)設(shè)計(jì),相比上一代的TPU v4訓(xùn)練性能提高2倍,推理性能提高2.5倍,但成本只有上一代的一半不到,大幅提升了計(jì)算效率以及成本效益。

對(duì)于云計(jì)算巨頭而言,為了降低對(duì)英偉達(dá)的依賴,同時(shí)也為了降低成本,選擇定制ASIC都會(huì)是一個(gè)比較確定的方向。除了谷歌之外,亞馬遜、華為、阿里、百度等云計(jì)算巨頭都已經(jīng)有自研數(shù)據(jù)中心ASIC產(chǎn)品,并已經(jīng)投入使用。

而博通目前依靠在高速互連方面的關(guān)鍵技術(shù),在對(duì)互連速率要求極高的AI計(jì)算領(lǐng)域就極具優(yōu)勢(shì)。早在2020年,博通推出了公司首款采用臺(tái)積電N5工藝的數(shù)據(jù)中心ASIC,集成了PCIe Gen5協(xié)議、112 Gbps SerDes、運(yùn)行頻率為3.6 Gbps、集成HBM2e,利用TSMC CoWoS Interposer封裝技術(shù)實(shí)現(xiàn)3.6 Tbps Die2Die PHY IP,幾乎將先進(jìn)的高速互連技術(shù)堆滿。

最近博通還推出了3.5D XDSiP封裝平臺(tái),可以將超過6000平方毫米的3D堆疊硅晶片和12個(gè)HBM模塊集成到一個(gè)系統(tǒng)級(jí)封裝中,同時(shí)大幅提升片內(nèi)互連的性能。

與傳統(tǒng)采用硅通孔TVS的F2B(面到背)的技術(shù)相比,3.5D XDSiP采用HCB(混合銅鍵合)以F2F(面對(duì)面)的方式將邏輯芯片堆疊,堆疊芯片之間的信號(hào)密度提高了7倍;3.5D XDSiP通過利用3D HCB代替平面芯片到芯片物理接口,芯片到芯片接口的功耗降低了90%,還能最大限度地減少3D堆棧中計(jì)算、內(nèi)存和I/O組件之間的延遲。

據(jù)稱博通的3.5D XDSiP目前已經(jīng)被主要的AI領(lǐng)域客戶使用,已經(jīng)有6款產(chǎn)品正在開發(fā)中,博通預(yù)計(jì)最早在2026年2月實(shí)現(xiàn)出貨。其中富士通下一代2nm制程的Arm處理器FUJITSU-MONAKA已經(jīng)確認(rèn)使用博通3.5D XDSiP技術(shù),這款處理器面向數(shù)據(jù)中心、邊緣計(jì)算等應(yīng)用,據(jù)此前富士通的介紹,MONAKA每顆CPU包含一個(gè)中央的I/O die和四個(gè)3D垂直堆疊die,并集成SRAM,預(yù)計(jì)2027年出貨。

今年9月,博通還展示了一種帶有光學(xué)模塊的AI計(jì)算ASIC,實(shí)現(xiàn)片間光互連。博通在制造中使用了FOWLP封裝技術(shù),將CPO模塊與AI ASIC封裝在一起,大幅降低了系統(tǒng)延遲,還實(shí)現(xiàn)了可插拔的激光器設(shè)計(jì),便于數(shù)據(jù)中心維護(hù)。

目前來看,在AI計(jì)算中極為重要的互連技術(shù)上,博通擁有很強(qiáng)大的技術(shù)積累,這也為其ASIC定制服務(wù)建立了穩(wěn)固的壁壘。從客戶群來看,博通在財(cái)報(bào)中透露,目前正在與三家非常大型的云計(jì)算客戶開發(fā)AI芯片,并預(yù)計(jì)到2027年,每個(gè)客戶都將在網(wǎng)絡(luò)集群中部署100萬個(gè)AI芯片,屆時(shí)市場(chǎng)對(duì)定制AI ASIC的需求容量將高達(dá)600億-900億美元。

ASIC跑AI,大廠的專屬玩物

最近大廠開發(fā)ASIC的消息頻出,在博通公布財(cái)報(bào)的前一天,就傳出蘋果與博通合作,開發(fā)面向AI推理的ASIC芯片,將采用臺(tái)積電N3P工藝,計(jì)劃在2026年投入生產(chǎn)。而亞馬遜也在月初公布了AI芯片Trn2UltraServer和Amazon EC2Trn2的應(yīng)用實(shí)例,展示出ASIC的應(yīng)用性價(jià)比遠(yuǎn)超GPU。

但可能大家也發(fā)現(xiàn),目前定制開發(fā)高算力ASIC的廠商,無一例外是云計(jì)算大廠,本身公司業(yè)務(wù)就有極大規(guī)模的算力需求。這是由于ASIC的定制費(fèi)用較高,需要有足夠龐大的規(guī)模才能分?jǐn)偳捌诙ㄖ崎_發(fā)費(fèi)用。

ASIC定制費(fèi)用,主要是開發(fā)過程中的一次性工程費(fèi)用,也被業(yè)內(nèi)稱為NRE(Non-Recurring Engineering)。顧名思義,NRE費(fèi)用只需要支出一次,后續(xù)規(guī)模生產(chǎn)中不需要再增加這部分費(fèi)用。

NRE費(fèi)用中,包含芯片設(shè)計(jì)的成本,比如研發(fā)人員薪酬、EDA工具授權(quán)費(fèi)等,這與芯片使用的制程工藝、芯片本身的復(fù)雜程度相關(guān);然后是版圖設(shè)計(jì)成本,其實(shí)這里的概念跟芯片設(shè)計(jì)的成本類似,主要是涉及芯片的物理布局設(shè)計(jì),需要特定的研發(fā)人員和軟件支持;再是IP授權(quán)費(fèi)用,一般是一些通用的IP,比如CPU IP、內(nèi)存控制器、接口IP等。

以定制一款采用5nm制程的ASIC為例,NRE費(fèi)用可以高達(dá)1億至2億美元。然而一旦能夠大規(guī)模出貨,NRE費(fèi)用就可以很大程度上被攤薄。

博通也提到,未來每個(gè)客戶將在網(wǎng)絡(luò)集群中部署100萬片AI芯片,即使其中只有30萬片是定制的ASIC,那么分?jǐn)偟矫恳黄酒系腘RE費(fèi)用就大約只要300-600美元,相比GPU的成本有明顯的優(yōu)勢(shì)。而據(jù)業(yè)內(nèi)人士分析,中等復(fù)雜程度的ASIC盈虧平衡點(diǎn)在10萬片左右。

小結(jié):

盡管目前英偉達(dá)GPU在AI訓(xùn)練、推理的應(yīng)用中還是處于一家獨(dú)大的地位,但ASIC的成本效益,讓各大大模型廠商不得不開始考慮轉(zhuǎn)向ASIC。加上谷歌推出的Gemini2.0已經(jīng)開始帶頭使用自家的TPU來進(jìn)行訓(xùn)練和推理,以往ASIC不適用于AI訓(xùn)練的刻板印象也逐步被打破。

如果ASIC的成本效益未來能被進(jìn)一步開發(fā)至極致,那么至少像百度、阿里、谷歌、騰訊、華為這樣的集大模型開發(fā)和云計(jì)算服務(wù)于一體的互聯(lián)網(wǎng)巨頭,會(huì)先擺脫在AI大模型上對(duì)GPU的依賴。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 博通
    +關(guān)注

    關(guān)注

    35

    文章

    4328

    瀏覽量

    107070
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    ASICGPU的原理和優(yōu)勢(shì)

    ? 本文介紹了ASICGPU兩種能夠用于AI計(jì)算的半導(dǎo)體芯片各自的原理和優(yōu)勢(shì)。 ASICGPU是什么
    的頭像 發(fā)表于 01-06 13:58 ?585次閱讀
    <b class='flag-5'>ASIC</b>和<b class='flag-5'>GPU</b>的原理和優(yōu)勢(shì)

    GPU是如何訓(xùn)練AI大模型的

    AI模型的訓(xùn)練過程中,大量的計(jì)算工作集中在矩陣乘法、向量加法和激活函數(shù)等運(yùn)算上。這些運(yùn)算正是GPU所擅長(zhǎng)的。接下來,AI部落小編帶您了解GPU
    的頭像 發(fā)表于 12-19 17:54 ?239次閱讀

    訓(xùn)練AI大模型需要什么樣的gpu

    訓(xùn)練AI大模型需要選擇具有強(qiáng)大計(jì)算能力、足夠顯存、高效帶寬、良好散熱和能效比以及良好兼容性和擴(kuò)展性的GPU。在選擇時(shí),需要根據(jù)具體需求進(jìn)行權(quán)衡和選擇。
    的頭像 發(fā)表于 12-03 10:10 ?204次閱讀

    AI推理CPU當(dāng)?shù)溃珹rm驅(qū)動(dòng)高效引擎

    AI訓(xùn)練推理共同鑄就了其無與倫比的處理能力。在AI訓(xùn)練方面,GPU因其出色的并行計(jì)算能力贏得
    的頭像 發(fā)表于 11-13 14:34 ?2631次閱讀
    <b class='flag-5'>AI</b><b class='flag-5'>推理</b>CPU當(dāng)?shù)溃珹rm驅(qū)動(dòng)高效引擎

    PyTorch GPU 加速訓(xùn)練模型方法

    在深度學(xué)習(xí)領(lǐng)域,GPU加速訓(xùn)練模型已經(jīng)成為提高訓(xùn)練效率和縮短訓(xùn)練時(shí)間的重要手段。PyTorch作為一個(gè)流行的深度學(xué)習(xí)框架,提供了豐富的工具和方法來利用
    的頭像 發(fā)表于 11-05 17:43 ?649次閱讀

    FPGA和ASIC在大模型推理加速中的應(yīng)用

    隨著現(xiàn)在AI的快速發(fā)展,使用FPGA和ASIC進(jìn)行推理加速的研究也越來越多,從目前的市場(chǎng)來說,有些公司已經(jīng)有了專門做推理ASIC,像Gro
    的頭像 發(fā)表于 10-29 14:12 ?741次閱讀
    FPGA和<b class='flag-5'>ASIC</b>在大模型<b class='flag-5'>推理</b>加速中的應(yīng)用

    NVIDIA助力麗蟾科技打造AI訓(xùn)練推理加速解決方案

    麗蟾科技通過 Leaper 資源管理平臺(tái)集成 NVIDIA AI Enterprise,為企業(yè)和科研機(jī)構(gòu)提供了一套高效、靈活的 AI 訓(xùn)練推理加速解決方案。無論是在復(fù)雜的
    的頭像 發(fā)表于 10-27 10:03 ?315次閱讀
    NVIDIA助力麗蟾科技打造<b class='flag-5'>AI</b><b class='flag-5'>訓(xùn)練</b>與<b class='flag-5'>推理</b>加速解決方案

    為什么ai模型訓(xùn)練要用gpu

    GPU憑借其強(qiáng)大的并行處理能力和高效的內(nèi)存系統(tǒng),已成為AI模型訓(xùn)練不可或缺的重要工具。
    的頭像 發(fā)表于 10-24 09:39 ?424次閱讀

    GPU服務(wù)器在AI訓(xùn)練中的優(yōu)勢(shì)具體體現(xiàn)在哪些方面?

    GPU服務(wù)器在AI訓(xùn)練中的優(yōu)勢(shì)主要體現(xiàn)在以下幾個(gè)方面: 1、并行處理能力:GPU服務(wù)器擁有大量的并行處理核心,這使得它們能夠同時(shí)處理成千上萬個(gè)計(jì)算任務(wù),極大地加速了
    的頭像 發(fā)表于 09-11 13:24 ?540次閱讀

    AI推理,和訓(xùn)練有什么不同?

    如果要用一句話概括AI訓(xùn)練推理的不同之處,我覺得用“臺(tái)上一分鐘,臺(tái)下十年功”最為貼切。話說小明已經(jīng)和心目中的女神交往數(shù)年,在邀約女神出門這件事上積累了大量的經(jīng)驗(yàn)數(shù)據(jù),但卻依然捉摸不透其中的玄機(jī)
    的頭像 發(fā)表于 04-29 08:06 ?210次閱讀
    <b class='flag-5'>AI</b><b class='flag-5'>推理</b>,和<b class='flag-5'>訓(xùn)練</b>有什么不同?

    AI訓(xùn)練,為什么需要GPU

    隨著由ChatGPT引發(fā)的人工智能熱潮,GPU成為了AI大模型訓(xùn)練平臺(tái)的基石,甚至是決定性的算力底座。為什么GPU能力壓CPU,成為炙手可熱的主角呢?要回答這個(gè)問題,首先需要了解當(dāng)前人
    的頭像 發(fā)表于 04-24 08:05 ?1075次閱讀
    <b class='flag-5'>AI</b><b class='flag-5'>訓(xùn)練</b>,為什么需要<b class='flag-5'>GPU</b>?

    利用NVIDIA組件提升GPU推理的吞吐

    本實(shí)踐中,唯品會(huì) AI 平臺(tái)與 NVIDIA 團(tuán)隊(duì)合作,結(jié)合 NVIDIA TensorRT 和 NVIDIA Merlin HierarchicalKV(HKV)將推理的稠密網(wǎng)絡(luò)和熱 Embedding 全置于 GPU 上進(jìn)行
    的頭像 發(fā)表于 04-20 09:39 ?821次閱讀

    國產(chǎn)GPUAI大模型領(lǐng)域的應(yīng)用案例一覽

    電子發(fā)燒友網(wǎng)報(bào)道(文/李彎彎)近一年多時(shí)間,隨著大模型的發(fā)展,GPUAI領(lǐng)域的重要性再次凸顯。雖然相比英偉達(dá)等國際大廠,國產(chǎn)GPU起步較晚、聲勢(shì)較小。不過近幾年,國內(nèi)不少
    的頭像 發(fā)表于 04-01 09:28 ?4110次閱讀
    國產(chǎn)<b class='flag-5'>GPU</b>在<b class='flag-5'>AI</b>大模型領(lǐng)域的應(yīng)用案例一覽

    新火種AI|大廠圍剿,“長(zhǎng)文本”成不了Kimi的護(hù)城河

    Kimi帶的市場(chǎng),被大廠盯上了
    的頭像 發(fā)表于 03-28 22:37 ?464次閱讀
    新火種<b class='flag-5'>AI</b>|<b class='flag-5'>大廠</b>圍剿,“長(zhǎng)文本”成不了Kimi的<b class='flag-5'>護(hù)城河</b>

    FPGA在深度學(xué)習(xí)應(yīng)用中或?qū)⑷〈?b class='flag-5'>GPU

    對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行任何更改,也不需要學(xué)習(xí)任何新工具。不過你可以保留你的 GPU 用于訓(xùn)練。” Zebra 提供了將深度學(xué)習(xí)代碼轉(zhuǎn)換為 FPGA 硬件指令的抽象層 AI 硬件前景
    發(fā)表于 03-21 15:19
    狮威百家乐娱乐场| 若羌县| 百家乐庄多还是闲多| 百家乐平注法是什么| 至尊百家乐官网吕文婉| 线上百家乐官网开户| 华安县| 哈尔滨百家乐官网赌场| 百家乐官网注册就送| 菲律宾沙龙国际| 皇冠足球网| 百家乐官网路的看法| 百家乐官网全自动分析软件| 新百家乐官网.百万筹码| 网上百家乐官网的玩法技巧和规则| 百家乐官网游戏开户网址| 百家乐桌蓝盾在线| 百家乐桌面| 真钱百家乐哪里最好| 678百家乐博彩赌场娱乐网规则 | 百家乐游戏| 新澳博娱乐城| 百家乐官网赌神| 宝博百家乐官网娱乐城| 百家乐官网专用| 金沙百家乐娱乐城场| 南京百家乐在哪| 大发888娱乐场下载专区| 网上棋牌是真的吗| 波胆网站| 网上百家乐官网内幕| 百家乐官网技巧微笑心法| 百家乐官网作弊| 优博百家乐的玩法技巧和规则| bet365娱乐城注册| 99真人娱乐城| 百家乐官网现金网排名| 百家乐官网技巧微笑心法| 澳门百家乐赢技巧| 大发888体育博彩| 网上娱乐城注册送彩金|