電子發(fā)燒友網(wǎng)報道（文/莫婷婷）全球終端市場在經(jīng)歷了高峰之后，在2022年、2023年出現(xiàn)明顯的終端市場下滑。進入2024年，全球終端市場又迎來了小幅反彈，AI技術(shù)的加持是市場反彈的動力之一。毫不夸張地說，是AI重新點燃了終端市場。

2023年被認為是AI終端的元年，那么進入2024年，AI終端市場會迎來哪些發(fā)展機會，上游的芯片環(huán)節(jié)，AI芯片有哪些最新解決方案。

AI終端成為交互入口，首款A(yù)I PC個人智能體已經(jīng)面世

為什么AI算力會轉(zhuǎn)移到終端側(cè)？IDC中國及全球副總裁王吉平提到了四大方面的原因。

一是芯片廠商技術(shù)革命，未來是在混合算力的基礎(chǔ)上，端側(cè)算力未來會快速提升。二是模型正在不斷演變，例如混合專家模型（MoE）正受到業(yè)內(nèi)人士的關(guān)注。三是人們越來越關(guān)注安全性，端側(cè)模型對于個人安全隱私，以及端之間互聯(lián)互通的安全性有很好地保護。四是大模型開始垂直化整合，垂直領(lǐng)域端+小模型的需求也在提升，王吉平認為小模型和小終端之間也可以非常完美地匹配。

目前，在終端產(chǎn)品中，PC、智能家居、車載設(shè)備、智能手機、智能手表、耳機，甚至是AR/VR等設(shè)備都能得到AI技術(shù)的加持。

可以預(yù)測到，隨著場景化發(fā)展，不同場景下的終端分工更加細致和專業(yè)，AI技術(shù)將加速終端未來十年新一輪的融合。

目前，手機廠商已經(jīng)打造了各自的AI大模型，將其賦能至智能手機中，例如華為小藝語音助手用到了盤古大模型，小米小愛同學(xué)用的是小米AI大模型MiLM-6B等等。

在AI PC方面，已經(jīng)從普通的AI PC走向了AI PC智能體，例如聯(lián)想于4月18日發(fā)布的業(yè)內(nèi)首款A(yù)I PC個人智能體——聯(lián)想小天，具備文生圖的功能，還能實現(xiàn)圖像訓(xùn)練和深度編輯。
在AI機器人方面，傳音旗下創(chuàng)新科技品牌TECNO在MWC24上，展示了公司首款A(yù)I增強型仿生四足機器人Dynamic 1，能夠用于智能助手、教育培訓(xùn)等場景。

AI終端在發(fā)展過程中，大模型（LLM）向智能體（Agent）轉(zhuǎn)變，最終形成一個完整的閉環(huán)。那么，未來AI終端會朝著哪些方向發(fā)展呢？業(yè)內(nèi)人士普遍認為，未來AI終端將成為個人AI助理，IDC認為將具備以下五大特征：

一是成為第一交互入口。此外，當國內(nèi)的推理芯片搭載在各個終端后，會形成國內(nèi)生態(tài)的智能體應(yīng)用于各個行業(yè)中。二是終端將標配本地混合AI算力，例如CPU/NPU/GPU等；隨之，形成個人終端和個人邊緣協(xié)同計算結(jié)構(gòu)。三是終端內(nèi)嵌個人大模型，形成個性化本地知識庫。四是必須會有個人數(shù)據(jù)和隱私安全保護。五是有一個連接開放的AI應(yīng)用生態(tài)，同時它要開發(fā)API接口。



AI芯片進入新的競爭階段，英偉達、英特爾、高通攻克推理性能
在技術(shù)底層，AI終端的發(fā)展離不開AI芯片。隨著AI大模型在終端進行規(guī)?；瘮U張，部署端側(cè)算力顯得尤為重要。英特爾CEO帕特·基辛格曾表示在人工智能領(lǐng)域，推理技術(shù)變得越來越重要，甚至比訓(xùn)練還更加重要。

IDC中國及全球副總裁王吉平也預(yù)測了大語言模型端側(cè)芯片的發(fā)展趨勢，他認為XPU模式會推動端側(cè)模型推理能力明顯提升。

目前，在AI芯片領(lǐng)域，英偉達、英特爾、AMD等是國際主流玩家。在近兩年，國內(nèi)的推理芯片廠商也逐漸進入業(yè)內(nèi)視野中，例如阿里平頭哥、寒武紀、燧原科技、云天勵飛等，隨著技術(shù)的迭代，上述國產(chǎn)芯片廠商的AI芯片性能也在不斷提升。

AI芯片領(lǐng)域的競爭進入了新的階段。目前，英特爾、英偉達、高通都推出了各自面向AI推理的芯片。

就在美國時間4月9日，英特爾發(fā)布了新一代AI芯片Gaudi 3，可對標英偉達H100。Gaudi 3采用5nm工藝制造，具有64個第五代張量處理核心、8個矩陣計算引擎，24個200 Gbps以太網(wǎng) RDMA NIC，以太網(wǎng)的通用標準能連接數(shù)萬個加速器，最高 16 條 PCIe 5.0 總線。與Gaudi 2相比，Gaudi 3的FP8吞吐量達到1835 TFLOPS，BF16性能提升四倍，網(wǎng)絡(luò)帶寬提升兩倍，內(nèi)存帶寬提升1.5倍。

英偉達H100芯片是在2023年發(fā)布的產(chǎn)品，采用4nm工藝，搭載了最新Hopper架構(gòu)，集成Transformer引擎、第四代TensorCore、第四代張量內(nèi)核等技術(shù)。支持PCle Gen5和利用HBM3，憶體頻寬達到3TB/s，F(xiàn)P8 算力與A100相比提升了3倍，達4000TFLOPS。

在今年3月的英偉達GTC人工智能大會，英偉達還發(fā)布了Blackwell B200 GPU，有著2080億個晶體管，H100的FP4性能為4 petaflops，而B200 能提供高達20 petaflops FP4的算力。兩個B200與單個英偉達Grace CPU相連，打造出GB200 Grace Blackwell超級芯片。

在AI芯片新的競爭階段，廠商都更加重視芯片的推理能力，從英特爾和英偉達的新品正好說明了這一點。英特爾Gaudi系列面向AI應(yīng)用場景，其推理能力也在不斷提升，Gaudi 3的模型訓(xùn)練速度提升40%，推理速度則提升50%。

英偉達介紹，H100采用了新的Transformer Engine專門用于加速Transformer 模型的訓(xùn)練和推理，在進行語言模型的訓(xùn)練和推理時，訓(xùn)練速度是A100的9倍，推理速度是A100的30倍。Blackwell GPU更是能提供30倍的推理性能，AI訓(xùn)練和大模型實時推理的規(guī)模擴展到10萬億參數(shù)。

高通也在2023年10月發(fā)布驍龍 X Elite，這是一款面向 Windows 11 PC 的旗艦 PC 芯片，集成了Oryon?CPU、Adreno?GPU、Hexagon?NPU，支持在端側(cè)運行超過 130 億參數(shù)的生成式 AI 模型。

在當時的發(fā)布會上，高通透露搭載驍龍 X Elite 芯片的筆記本電腦在今年中期面世。近期已有消息顯示，聯(lián)想 YOGA Slim 7 14 2024 驍龍版，以及一款命名為ThinkPad T14s Gen 6 驍龍版的筆記本或?qū)⒋钶d高通驍龍X Elite 芯片。高通驍龍X Elite 芯片會給聯(lián)想AI PC帶來哪些AI性能，值得期待。

而英偉達的H100已經(jīng)應(yīng)用在其超級計算機Eos中，總共搭載了4608個H100 GPU，還有1,152個英特爾至強Platinum 8480C處理器。Eos被認為是英偉達速度最快的人工智能超級計算機，可用于人工智能和高性能計算工作負載。

每一代AI芯片的推出，都有它各自的應(yīng)用定位。從終端市場來看，AI技術(shù)已經(jīng)從手機、PC滲透進更多終端產(chǎn)品，未來會走向高性能PC、工作站等，不管是面向TO C，還是TO B的行業(yè)場景（服務(wù)業(yè)、制造業(yè)等），所需要的算力將隨著應(yīng)用需求逐步提升，也會提高推理芯片的要求。未來推理芯片在AI終端會迎來怎么樣的發(fā)展，又會提升哪些應(yīng)用體驗，值得期待。