在當今快速發展的技術環境中，AI正在變革各行各業并推動創新，理解AI性能指標的復雜性至關重要。過去許多AI模型需要在云端運行。當我們走向由終端側生成式AI處理定義的未來時，我們必須能夠評估計算平臺可運行AI模型的性能、準確性和效率。如今，TOPS(每秒萬億次運算)是衡量處理器AI性能的主要方式之一。TOPS是基于處理器所需的架構和頻率，衡量處理器潛在AI推理峰值性能的方法，比如神經網絡處理器(NPU)。下面我們將深入探討。

NPU是什么？

在深入探討TOPS的具體內容之前，讓我們先看看NPU的重要性。對于終端側AI處理，NPU在提高效率、為個人用戶和企業提供創新的應用體驗方面發揮著關鍵作用。評估這些專用處理器的性能需要全面了解其能力背后的關鍵指標。

NPU的演進改變了人們處理計算的方式。傳統上，CPU負責執行AI算法。隨著對處理性能的需求飆升，專用NPU應運而生，成為處理AI相關軟件應用的專用解決方案。NPU旨在高效處理AI任務所需的復雜數學計算，提供出色的效率、性能和能效。

AI TOPS是什么？

TOPS作為展示處理器計算能力的指標，是衡量NPU性能的核心。

TOPS通過以萬億單位測量一秒鐘內執行的運算（加法、乘法等）次數來量化NPU處理能力。

這種標準化測量方式非常明確地顯示了NPU的性能，可作為比較不同處理器和架構AI性能的關鍵指標。因為TOPS是針對NPU的基礎性能指標，探索TOPS的計算參數以及它們如何決定性能至關重要，這有助于更深入地了解NPU的能力。

乘法累加(MAC)運算執行AI工作負載中的核心數學公式。矩陣乘法由兩類基礎運算組成：累加器的乘法和加法。例如，一個MAC單元可在每個時鐘周期內運行兩類基礎運算各一次，意味著它在每個時鐘周期內執行兩個運算。一個給定的NPU有一定數量的MAC單元，能夠在不同精度級別進行運算，這取決于NPU架構。

頻率決定NPU及其MAC單元（以及CPU或GPU）運算的時鐘速度（或每秒周期數），直接影響整體性能。更高的頻率允許在單位時間內執行更多運算，從而提高處理速度。但是，提高頻率也會導致更高功耗和發熱，影響電池續航和用戶體驗。處理器TOPS計算通常使用峰值運行頻率。

精度指計算的顆粒度，通常精度越高模型準確性就越高，需要的計算強度也越高。最常見的高精度AI模型為32位和16位浮點精度，而速度更快的低精度低功耗模型通常使用8位和4位整數精度。當前行業標準為以INT8精度評估AI推理性能TOPS。

計算TOPS要從計算OPS開始，OPS等于MAC單元數乘以運行頻率的兩倍。TOPS數量是OPS除以一萬億的值，將公式更簡單地列出，即TOPS = 2×MAC單元數×頻率/1萬億。

TOPS和實際性能

盡管TOPS提供了探索NPU能力的重要信息，我們仍必須將理論指標和實際應用聯系起來。畢竟，僅僅有高TOPS值并不能保證最佳的AI性能；各種因素協同作用的結果才能真正決定NPU實力。

因此評估NPU性能時要考慮內存帶寬、軟件優化和系統集成等方面的因素。基準測試可以幫助我們超越數字，了解NPU在實際場景中的表現，其中時延、吞吐量和能效尤為重要。

Procyon AI基準測試使用真實工作負載來幫助將理論性的TOPS評估轉化為用戶在使用AI推理的真實應用中對響應和處理能力的預期。它以多個精度運行六個模型，提供NPU不同性能表現的詳細洞察。類似模型在生產力、媒體、創作者和其他應用中越來越常見。在Procyon AI和其他基準測試中有更快的性能表現，與實現更快推理和更好用戶體驗息息相關。

為此，分析實際性能可以為NPU的能力和局限性提供寶貴洞察。必須從可行性和實用性角度檢驗性能指標。

未來NPU性能指標

隨著技術不斷快速發展，數字化轉型需求持續影響各行各業，NPU性能指標格局將進一步演進。盡管新興趨勢正在更廣泛地定義和評估NPU性能與計算的方式，TOPS仍是很好的性能指標，將在很長一段時間內繼續作為重要參考。

隨著各種AI新技術在未來幾年受到關注并重新定義無數行業，對能夠反應不同技術獨特特征的可靠性能指標的需求將不斷凸顯。適應性、可擴展性和實際應用相關性將定義未來的NPU性能指標。

根據用戶需求評估NPU性能

應對快速變化的NPU性能評估領域或許會讓人望而生畏，但隨著數字化轉型（尤其是在AI領域）持續快速發展，深入了解TOPS對行業和個人來說都很重要。

最終，選擇合適的系統級芯片(SoC)取決于用戶、客戶或組織的工作負載和優先級，而這一決策很可能需要取決于SoC中的NPU。

無論用戶是優先考慮原始算力、能效還是模型準確度，驍龍X系列平臺面向筆記本電腦，配備高達45TOPS的NPU，能夠強力賦能PC，并將實際可用的AI體驗引入用戶的工作流程。