?

2022年8月底，稀疏化計算引領(lǐng)者——墨芯人工智能攜高稀疏率計算卡S30、S10和S4參展「GTIC 2022全球AI芯片峰會」（以下簡稱GTIC），展現(xiàn)稀疏化計算在AI算力和能效比上的領(lǐng)導(dǎo)力，以及推動AI計算向更高算力、更高能效比、更低成本快速發(fā)展的最新商業(yè)進展。

在剛結(jié)束的上午會議中，墨芯當(dāng)選“2022中國AI芯片企業(yè)50強”。

GTIC由人工智能和芯片領(lǐng)域權(quán)威媒體智一科技舉辦，本次于今年26日-27日在深圳灣萬麗酒店大宴會廳舉行。

在此次GTIC的核心展臺——5號展臺，墨芯人工智能首次向業(yè)內(nèi)全面發(fā)布首批高稀疏率計算卡S4、S10和S30。

?

?

云端AI芯片市場持續(xù)擴容

稀疏化計算有力滿足下游市場降本增效的需求

峰會以“不負芯光 智算未來”為主題，設(shè)置五大主題論壇——AI芯片高峰論壇、云端AI芯片專題論壇、邊緣端AI芯片專題論壇等。26日下午墨芯人工智能創(chuàng)始人兼CEO王維以“面向未來的稀疏化計算”發(fā)表演講，全面闡述了稀疏化計算如何推動AI計算降本增效，以及這其中蘊含的社會價值和經(jīng)濟價值。

?

AI、5G等新興產(chǎn)業(yè)的蓬勃發(fā)展催生了海量數(shù)據(jù)和計算需求，市場需要強大、普惠的算力引擎。公開數(shù)據(jù)顯示，2021-2025年中國云端AI芯片市場規(guī)模CAGR預(yù)計達29%。云端AI芯片重點面向互聯(lián)網(wǎng)、泛政府、行業(yè)應(yīng)用等下游細分市場，國內(nèi)廣闊的市場空間為有實力的高端AI芯片廠商帶來崛起機遇，這個市場背景對于稀疏化計算的發(fā)展可謂天時地利人和。

墨芯是全球最早研發(fā)稀疏化算法及架構(gòu)的企業(yè)之一，并在2018年開始稀疏化的全球?qū)＠季帧?/p>

所謂稀疏化計算，是一種以人腦得到靈感的模型壓縮方法。簡單來說，就是通過底層創(chuàng)新、軟硬協(xié)同設(shè)計，讓神經(jīng)網(wǎng)絡(luò)模型消減冗余，以提高計算效率。

稀疏化計算相較于業(yè)內(nèi)其他AI加速技術(shù)，并不是微量的差異化創(chuàng)新，而是能夠讓性能帶來十倍、百倍的創(chuàng)新。

王維拿標志性的AI大模型——GPT-3來舉例說明稀疏化計算的驚人性能表現(xiàn)。GPT-3有1700多億參數(shù)，如果放在GPU上去做推理的話，需要內(nèi)存量是要幾百G，也就是需要很多張80G的GPU，且會有明顯時延；但通過稀疏化計算，用一張墨芯S30計算卡，就可以跑通GPT-3，并且計算速度還變快了很多。

S30計算卡算力超90000 FPS

TCO約為競品1/3

墨芯正通過打造這一套芯片和軟硬件產(chǎn)品，去推動深度學(xué)習(xí)往更高算力、更大規(guī)模、更低計算成本的方向去發(fā)展。

墨芯此次展出的S4、S10和S30均搭載墨芯三顆芯片Antoum，分別為單芯片卡、雙芯片卡和三芯片卡，專注于數(shù)據(jù)中心AI推理應(yīng)用，可廣泛應(yīng)用于互聯(lián)網(wǎng)、運營商、生命科學(xué)、自動駕駛等眾多AI推理場景，滿足客戶對性能和功耗不同的組合需求。

Antoum是首個商用高稀疏率芯片，于2022年元旦一次流片成功，實測性能顛覆性提升。基于Antoum的單芯片計算卡S4首次推出后經(jīng)過多方性能實測，具有以下特點：

1

高吞吐：

單芯片計算卡S4實運行ResNet-50算力達33197 FPS

2

低功耗：

S4穩(wěn)定功耗僅有70W左右，實測性能對表國際大廠主流推理卡主近6倍能效比

3

低延時：

墨芯板卡S4（單顆Antoum）對比主流GPU產(chǎn)品，延時可以做到后者的1/4~1/5

三芯片卡S30在250W功率下提供等效于 2832 TOPS INT8 和 1415.4 TFLOPS BF16 的算力（32倍稀疏化）。板載60GB LPDDR4x內(nèi)存，S30可以提供高達252 GB/s 理論內(nèi)存峰值訪問帶寬。

墨芯人工智能S30計算卡

實測數(shù)據(jù)顯示，S30相較于S4和S10，可提供更高的算力。ResNet-50和Bert-Large模型在S4、S10和S30計算卡的測試結(jié)果如下所示：

S30和S4、S10計算卡在ResNet-50和Bert-Large模型推理結(jié)果對比

TCO為主流競品約1/3

已有多家客戶

稀疏化生態(tài)發(fā)力三大市場

流片成功僅半年，墨芯人工智能已在核心細分市場獲得幾家客戶。在互聯(lián)網(wǎng)市場，墨芯已在一些頭部互聯(lián)網(wǎng)公司進入適配階段；在垂直行業(yè)市場，墨芯也與生命科學(xué)領(lǐng)域部企業(yè)項目落地。

在未來一個階段中，墨芯將圍繞互聯(lián)網(wǎng)、泛政府行業(yè)及垂直行業(yè)三大方向進行市場推廣。在定價上，墨芯將整個算力服務(wù)器的TCO（總擁有成本）達到現(xiàn)有主流產(chǎn)品的1/2，甚至1/3。

王維此前在接受智東西專訪時曾表示，稀疏化計算是一個通用的發(fā)展方向，它在技術(shù)層面上沒有什么局限性。現(xiàn)在最大的挑戰(zhàn)是關(guān)于稀疏化的計算生態(tài)。只有生態(tài)完備，這些產(chǎn)品才能夠更快速地讓各個行業(yè)的用戶快速使用起來、熟悉起來。

因此，墨芯面對的下一步更大的挑戰(zhàn)是如何未來去建立一個生態(tài)同盟的合作關(guān)系。

在算法生態(tài)方面，由于墨芯是從算法創(chuàng)新，與當(dāng)下主流算法框架高度兼容，已通過眾多SDK布局TensorFlow、PyTorch等主流框架接口，讓客戶在使用時好像“仍然是在用原來的平臺一樣”。

在硬件生態(tài)上，墨芯也與市面上主流服務(wù)器廠商展開合作，比如而在一個月前，墨芯剛剛與浪潮信息簽訂元腦戰(zhàn)略合作協(xié)議，通過加入計算生態(tài)進行市場推廣。而后，墨芯也將與其他服務(wù)器提供商以及運營商開放生態(tài)合作。

近日，墨芯已成為非營利性機器學(xué)習(xí)開放組織MLCommons會員，后者由谷歌、英偉達、英特爾、Facebook、浪潮等全球AI領(lǐng)軍企業(yè)創(chuàng)建，每年會發(fā)布業(yè)內(nèi)權(quán)威AI基準測試MLPerf。今年9月，將公布墨芯首批稀疏化計算卡S4和S30在MLPerf推理測試V2.1的性能測試結(jié)果，有望代表國產(chǎn)AI芯片達到一個新里程碑。