云邊AI的必然

云邊AI是指把AI大模型和算法在云端訓練和優化后，部署到邊緣設備上運行，從而將AI能力融入終端設備。在前期的AI發展中，云端計算平臺憑借其強大的計算能力和能夠集中存儲和處理大規模數據的特點，發揮了重要的作用，但隨著邊緣計算和物聯網技術的興起，云邊AI替代云端AI會成為一種趨勢和必然。

邊緣計算能夠將計算和存儲能力更接近數據來源和終端設備，極大地減少了數據傳輸和延遲，減少了網絡壓力提高了響應速度，這使得在邊緣設備上實施AI算法和決策成為可能。并且，一些敏感數據和隱私數據可能不適合直接上傳到云端進行處理。通過在邊緣設備上進行處理，可以減少數據在傳輸過程中的風險，提升數據的隱私和安全性。此外，物聯網技術的興起意味著越來越多的設備將與互聯網連接，并產生海量的數據，處理這些分布在各個邊緣節點的數據，借助邊緣計算和物聯網技術，減輕了網絡帶寬和云端服務器的負荷的同時也降低了對網絡環境的依賴，使得終端設備執行AI能力更加的高效和可行。因此，云邊AI替代云端AI是必然的趨勢，并將在未來的AI發展中成為眾多企業的首選。

云邊AI的硬件承載

談到AI的硬件承載，我們首先需要了解的是和AI芯片性能相關的重要指標。在這里，我們重點講解四個指標參數。

首先是算力，算力是評估芯片性能和效率的重要指標，常見的算力單位包括每秒浮點運算數FLOPS和每秒萬億次運算數TOPS，更低的有MOPS，即每秒執行的百萬次操作數。

其次是神經網絡性能，跟軟件算法架構、硬件加速器以及參數數量有關，選擇合適的軟件算法架構可以提高神經網絡的性能，例如CNN適用于圖像處理任務、RNN適用于序列數據處理，硬件加速器（如GPU、TPU、NPU等）可以提高神經網絡的計算性能和效率，參數數量可以衡量模型的復雜性和容量，合適的參數數量可以優化神經網絡的性能和預測結果。

再次是能效比，指性能和功耗之間的關系，較高的能效比表示芯片能夠在相同計算性能下消耗較少的能量，減少了能源消耗和發熱問題。比如運算功耗2 TOPS/W表示該芯片將能夠以每瓦特2 TOPS的速度進行計算。

最后是存儲的容量和帶寬，高存儲帶寬可以加快數據傳輸和訪問速度，提高芯片的整體性能，而大容量的可以支持更復雜的模型和數據集。比如在芯片內嵌MCRAM存儲架構，通過將多個存儲芯片匯總到一個統一的接口上，實現了存儲容量的擴展和高帶寬的訪問。

AI應用的硬件適配

AI應用對芯片的選擇根據具體應用的需求和算法的特點進行權衡和決策，綜合考慮處理能力、能效、存儲、并行處理能力以及可編程性等因素，可以包括CPU、NPU、GPU、DSP、FPGA等。CPU適用于處理串行任務和邏輯操作。NPU是專門用于處理神經網絡計算的芯片，可以提供高效且低功耗的深度學習計算能力。GPU是具備較強并行處理能力的芯片，適用于對大規模數據進行并行計算的AI任務，例如深度學習中的神經網絡訓練和推理。DSP適用于音頻、語音處理和移動設備等嵌入式AI場景。而FPGA則適用于高性能計算、加速器設計和優化以及快速原型開發等需要定制硬件和高度靈活性的AI應用。

為了更直觀地展示不同硬件和AI應用的匹配性，本文隨機選了6款不同芯片的特性進行說明。

第一款芯片為通用CPU：“雙核Cortex-A7 SMP架構，每個內核內嵌NEON向量處理單元以及32KB的L1指令緩存和數據緩存，工作頻率最高可達1GHz，具有128位的AXI矩陣總線”。此芯片雖然帶有L1緩存和NEON指令集，但是緩存相對較小，只適合處理一些輕量級的任務和小型模型，1GHz的主頻和AXI矩陣總線在高速數據傳輸方面有優勢，根據以上信息此款芯片適合較簡單的圖形處理任務、語音識別任務，以及規模較小且計算需求相對較低文本分類或情感分析模型。

第二款芯片為低端NPU：“4個支持NT8（8位整數）計算的Multiply-Accumulate單元，在12MHz的時鐘頻率下能夠提供96 MOPS的性能，同時帶有低功耗神經網絡處理單元LP_NPU”。此芯片性能較低，不適合處理大型模型和算法，可用于低功耗、邊緣設備或嵌入式設備，用于處理輕量級的AI應用，包括如圖像和視覺識別、語音和音頻處理、自然語言處理、智能物聯網控制等。

第三款芯片為第二款的升級版：“具有4.0~8.0 TOPS @ INT8的算力和20 TOPS/W的能效”。此芯片能效適合處理較大的神經網絡模型和算法，特別是那些需要高計算密集度的任務。這樣的算力和能效可以應對較為復雜的深度學習模型，如大規模的卷積神經網絡（CNN）、遞歸神經網絡（RNN）和生成對抗網絡（GAN）等。同時，高能效性能意味著處理器能夠以較低的功耗提供較高的計算性能，適合在資源受限的環境中運行大型模型和算法。所以此芯片可以用于圖像、語言、醫療影像以及自動駕駛和機器人相關的AI應用。

第四款芯片為存算一體AI芯片：“0.5T OP/Sec，150萬參數@Int8，2TOPS/W的能效，MCRAM存儲系統。”此芯片適合一些較小規模的大模型和算法，特別是那些相對較簡單或計算需求較低的任務，比如淺層神經網絡處理、輕量級的目標檢測和圖形處理，以及嵌入式設備上的語音識別應用等。

第五款芯片也為存算一體AI芯片：“1.6T OP/Sec，700萬參數@Int8，2TOPS/W的能效，MCRAM存儲系統。”此芯片適合一些特定類型的大模型和算法，特別是針對計算密集型任務的應用，包括如大規模的深度神經網絡模型、需要進行大量的計算操作的計算密集型任務、高精度數據處理和自動駕駛以及機器人等實時推理場景的應用。

第六款芯片為中高端AI芯片：“5T OP/Sec，3000萬參數@Int8，8TOPS/W的能效，MCRAM存儲系統和KORU運算架構。”此款芯片跟前面的芯片相比，適合處理更大規模的大模型和算法，具備更高的計算性能，可以適用包括高分辨率圖像處理、大規模的語言模型、超大規模的目標檢測和圖像分割，以及深度學習等應用。

邊緣AI芯片的發展

隨著邊緣智能設備需求的不斷增加，未來的邊緣AI芯片將迎來一個發展高峰。邊緣AI芯片的發展方向將不可避免地呈現多元化的趨勢，這是由于終端設備和云端業務的差異性所決定的。邊緣AI芯片需要具備高效的計算能力和低功耗特性，同時需要有感知處理能力和數據加密能力，為了更好地實現云邊AI混合計算，邊緣AI芯片還需要具備穩定可靠的通信和網絡連接能力，實現邊緣設備與云端的協同工作和數據共享任務。

審核編輯：湯梓紅