Arm Ethos-U55是世界上第一款microNPU。這是一種新型的ML處理器，旨在加速嵌入式和物聯網設備上的ML推理。

評估工具包概述

此評估工具包的目的是允許用戶開發軟件并測試Ethos-U NPU和Cortex-M55 CPU的性能。Ethos-U NPU是一種新型機器學習（ML）處理器，專門設計用于在受限嵌入式和物聯網設備中加速ML工作負載的計算。該產品經過優化，可高效執行ML算法中常用的數學運算，如卷積或激活函數。

ML用例

評估工具包通過為嵌入式堆棧提供隨時可用的ML應用程序來增加價值。因此，您可以試驗已經開發的軟件用例，并為Cortex-M CPU和Ethos-U NPU創建自己的應用程序。下表列出了可供您使用的示例應用程序和使用的模型。

上述用例實現了端到端的ML流，包括數據預處理和后處理。它們將允許您調查嵌入式軟件堆棧，通過顯示不同的性能指標（如推斷周期計數估計和網絡執行結果），評估在Cortex-M55 CPU和Ethos-U NPU上運行的網絡的性能。

軟件和硬件概述

評估工具包基于Arm?Corstone?-300參考包。Arm?Corstone?-300幫助您在Arm?Cortex上快速構建SOC?-M55和Arm?精神?-U55設計。Arm?Corstone?-300設計實現在Arm MPS3 FPGA板上公開，或作為MPS3開發板的固定虛擬平臺公開。

這里描述了Ethos-U NPU軟件堆棧。

所有ML用例，盡管說明了不同的應用程序，都有共同的代碼，比如初始化硬件抽象層（HAL）。由于HAL，應用程序通用代碼可以在x86或Arm Cortex-M體系結構上運行。對于ML應用程序特定的部分，Google?TensorFlow? 微控制器推理機用于調度神經網絡模型的執行。微控制器TensorFlow Lite與Ethos-U NPU驅動程序集成，并將某些操作符的執行委托給NPU，如果NPU不支持神經網絡模型操作符，則委托給CPU。CMSIS-NN用于優化int8數據類型的CPU工作負載執行。通用的ML應用程序函數將幫助您專注于實現定制ML用例的邏輯：您只能修改用例代碼，而保持所有其他組件不變。提供的構建系統將發現新的ML應用程序代碼，并自動將其包含到編譯流中。

要在Cortex-M和Ethos-U NPU上運行ML應用程序，請執行以下步驟：

1. 通過安裝所需的先決條件來設置您的環境。
2. 按照此處的說明，使用Vela編譯器生成Ethos-U的優化神經網絡模型。
3. 配置生成系統。
4. 使用make命令編譯項目。

如果使用FVP，請在FVP上啟動所需的應用程序。如果使用FPGA選項，請在FPGA上加載圖像并啟動應用程序。

要熟悉這些步驟，您可以按照《快速入門指南》進行操作。

審核編輯：符乾江