當(dāng)前，以生成式AI為代表的新一代人工智能技術(shù)持續(xù)火熱，大模型推理場景向端側(cè)加速遷移，在深度變革人機(jī)交互界面的同時，也為手機(jī)、PC等消費電子產(chǎn)業(yè)注入源源動能。然而，生成式AI對硬件的快速賦能背后，也對算力、存儲等方面提出了新的需求。這些新的需求，也為芯片廠商、終端廠商以及應(yīng)用開發(fā)者帶來了新的挑戰(zhàn)與新的機(jī)遇。

我們應(yīng)該如何應(yīng)對這些挑戰(zhàn)？如何把握生成式AI帶來的機(jī)遇呢？產(chǎn)業(yè)各界已經(jīng)聯(lián)手給出了答案。

近日，國內(nèi)領(lǐng)先的通用計算CPU設(shè)計公司此芯科技正式推出了其首款專為AI PC打造的異構(gòu)高能效芯片產(chǎn)品——“此芯P1”。據(jù)了解，這款芯片不僅異構(gòu)集成了Armv9 CPU核心與Arm Immortalis GPU，還搭載了安謀科技“周易”NPU等自研業(yè)務(wù)產(chǎn)品，能夠提供高效能的異構(gòu)算力資源、系統(tǒng)級的安全保障以及技術(shù)生態(tài)支持，將更好地滿足生成式AI在PC等端側(cè)場景的應(yīng)用需求。

除AI PC以外，AI手機(jī)同樣熱度高漲，三星、華為、小米、vivo、OPPO、榮耀等各大手機(jī)廠商也都在積極探索與端側(cè)AI的深度融合，力求為用戶帶來更加智能化的新體驗。

如此看來，推動端側(cè)AI快速落地，需要更多類似的創(chuàng)新應(yīng)用方案，而其中的底層技術(shù)革新更是關(guān)鍵所在。

眾所周知，AI大模型從生產(chǎn)到應(yīng)用主要包括“訓(xùn)練”和“推理”兩個步驟。其訓(xùn)練和推理過程需要占用大量的計算資源和存儲空間，通常部署在云計算平臺上。而當(dāng)用戶調(diào)用智能對話助手等AI大模型時，必須聯(lián)網(wǎng)接入。但云端大模型不僅算力成本高昂，而且在實時性、數(shù)據(jù)隱私安全等方面也面臨著諸多挑戰(zhàn)。

在此背景下，端側(cè)大模型順勢而生。其核心是將AI大模型直接部署到終端設(shè)備，讓這些設(shè)備擁有“本地智能”，無需依賴網(wǎng)絡(luò)連接，即可自行完成數(shù)據(jù)處理和智能決策。

在新一輪端側(cè)大模型熱潮中，以下兩大趨勢正逐步顯現(xiàn)：

首先是大模型逐漸小型化，通過將大模型的參數(shù)規(guī)模進(jìn)行有效壓縮，以適配終端設(shè)備的軟硬件性能范圍。目前，大模型廠商新品往往包含大、中、小等不同參數(shù)量級，其最小的模型參數(shù)多在百億以下。這背后的原因主要是出于對計算成本、功耗和性能等因素的綜合考量，尤其是在端側(cè)部署大模型時，百億參數(shù)級大模型能夠更好地匹配現(xiàn)階段的大眾級終端設(shè)備。

第二個趨勢是終端廠商正加速端側(cè)大模型“裝機(jī)”。以PC和手機(jī)為例，自去年以來，頭部PC廠商相繼推出了內(nèi)置本地大模型的AI PC新品，國內(nèi)主流手機(jī)廠商也已經(jīng)在其旗艦產(chǎn)品中成功部署70億參數(shù)規(guī)模的大模型，AI PC和AI手機(jī)隨即進(jìn)入了應(yīng)用爆發(fā)期。除此之外，端側(cè)大模型也已擴(kuò)展到智能汽車以及具身智能機(jī)器人、AR/VR等IoT設(shè)備領(lǐng)域。

綜上所述，模型公司與終端硬件公司正相向而行，共同推動端側(cè)大模型的場景化落地，讓更多普通消費者也能輕松享用到大模型帶來的智能體驗。而大模型與終端產(chǎn)品二者間的交匯點，正是邊緣端設(shè)備的計算基礎(chǔ)——芯片。

其中，CPU作為最為核心的計算“大腦”，在端側(cè)推理過程中發(fā)揮著不容小覷的作用。

CPU作為智能終端的運(yùn)算及控制中樞，其性能直接關(guān)系到端側(cè)設(shè)備的響應(yīng)速度、處理能力、能效、用戶體驗和安全性等，是衡量終端性能的關(guān)鍵指標(biāo)。生成式AI興起后，隨著大模型小型化和推理任務(wù)向端側(cè)遷移，CPU始終穩(wěn)居終端硬件的核心地位，能夠出色勝任本地AI推理，為海量設(shè)備提供強(qiáng)有力的計算支持。具體來看：

首先，AI處理始于CPU。早期智能手機(jī)上的AI功能大多基于自然語言處理（NLP）和計算機(jī)視覺（CV）等技術(shù)，如文字轉(zhuǎn)寫、人臉識別、相冊分類、美顏濾鏡等細(xì)分功能。此類AI工作負(fù)載或是全權(quán)交由CPU處理，或是結(jié)合其他協(xié)處理器共同支持。

其次，AI處理爆發(fā)于CPU。CPU的通用性使其能夠快速響應(yīng)端側(cè)大模型在不同場景的落地需求。例如面對入門級智能手機(jī)、汽車智能座艙、AIoT設(shè)備等應(yīng)用場景，CPU可高效處理參數(shù)規(guī)模在數(shù)十億級別的小型計算任務(wù)。而在PC和旗艦智能手機(jī)等更高階的應(yīng)用場景，所需處理的計算任務(wù)則相對復(fù)雜且龐大，即便配備了AI專用加速器，CPU依舊是不可或缺的計算基石，且能獨立承擔(dān)處理百億參數(shù)級別的更大規(guī)模計算任務(wù)。

Arm CPU憑借其在低功耗、高能效上的顯著優(yōu)勢，被廣泛應(yīng)用于各類消費電子設(shè)備。得益于Arm CPU的AI計算能力，目前全世界約99%的智能手機(jī)都具備在端側(cè)處理大模型所需的技術(shù)，包括NEON擴(kuò)展架構(gòu)、SVE可擴(kuò)展向量擴(kuò)展技術(shù)、SME可擴(kuò)展矩陣擴(kuò)展技術(shù)等關(guān)鍵Arm架構(gòu)功能。以當(dāng)今的安卓平臺來看，第三方應(yīng)用中有70%的AI運(yùn)行在Arm CPU上。除手機(jī)外，基于Arm CPU的PC市場規(guī)模也在迅速增長。

面向下一代AI終端設(shè)備，全新Arm終端計算子系統(tǒng)（CSS）應(yīng)運(yùn)而生，這是迄今為止運(yùn)行速度最快的Arm計算平臺，不僅在計算和圖形性能上實現(xiàn)30%以上的提升，而且AI推理速度提高了59%，適用于更廣泛的AI、機(jī)器學(xué)習(xí)（ML）和計算視覺工作負(fù)載。同步推出的還有Arm Kleidi軟件開發(fā)平臺，能夠幫助開發(fā)者快速獲得開發(fā)生成式AI應(yīng)用所需的性能、工具和軟件庫。

Arm終端CSS和Arm KleidiAI等新一代終端計算技術(shù)將進(jìn)一步加速AI終端普及。預(yù)計2025年底，基于Arm架構(gòu)的AI設(shè)備有望突破1000億臺。

與此同時，隨著端側(cè)推理需求的日漸高漲，生成式AI用例將在更多元化的應(yīng)用場景中“遍地開花”，然而計算任務(wù)復(fù)雜度和數(shù)據(jù)量也隨之激增，將對未來AI終端硬件提出更高的要求。由此，兼具通用性和專用性的異構(gòu)計算解決方案已是大勢所趨，它能夠有機(jī)融合CPU、GPU、NPU等不同處理器，以滿足端側(cè)大模型部署的多樣化計算需求。

其中，NPU全稱Neural Processing Unit（神經(jīng)網(wǎng)絡(luò)處理單元），專門針對神經(jīng)網(wǎng)絡(luò)進(jìn)行設(shè)計與優(yōu)化，能更加高效地運(yùn)行Transformer架構(gòu)的AI模型。隨著AI手機(jī)、AI PC概念的普及，NPU的重要性也日益凸顯，它可以在視頻、圖像、系統(tǒng)管理等各類場景中發(fā)揮出色的AI加速能力，解決日益增長的終端推理需求。

安謀科技早在成立之初既已布局AI賽道，本土自研的“周易”NPU目前已迭代了Z系列和X系列的多款產(chǎn)品，廣泛應(yīng)用于中高端安防、智能家居、移動設(shè)備、物聯(lián)網(wǎng)、智能座艙、ADAS、邊緣服務(wù)器等市場。

開篇提到的“此芯P1”則采用了基于第三代“周易”架構(gòu)設(shè)計的NPU。通過對低功耗與高算力的針對性優(yōu)化，“周易”NPU不僅能夠勝任長時間、高負(fù)載的任務(wù)處理，還支持多核多Cluster的算力擴(kuò)展。在“周易”NPU的設(shè)計上，安謀科技從性能、精度、帶寬、調(diào)度管理、算子支持等多個維度，對各類圖像、視頻AI模型算法進(jìn)行了深度優(yōu)化，并且完成了對主流大模型的適配，進(jìn)一步強(qiáng)化其在面對高性能AI計算需求時的表現(xiàn)。

面對端側(cè)生成式AI的高速發(fā)展和算力需求的不斷攀升，CPU無疑是為終端設(shè)備提供了得以接入AI功能的廣泛計算基礎(chǔ)，而異構(gòu)計算與NPU則為多模態(tài)大模型等新興AI應(yīng)用在端側(cè)落地打開了新的想象空間。但無論設(shè)備和應(yīng)用如何演進(jìn)，算力始終是支撐端側(cè)AI發(fā)展的基石，也是引領(lǐng)終端AI創(chuàng)新的核心引擎。

審核編輯 黃宇