概述

目前，視覺應(yīng)用在物聯(lián)網(wǎng)發(fā)展領(lǐng)域備受關(guān)注。不論是可視門鈴、會議室監(jiān)控、家庭安全攝像頭或者是智能零售應(yīng)用，諸多創(chuàng)新型公司紛紛借助人工智能 (AI) 和機器學(xué)習(xí) (ML) 技術(shù)，大力開發(fā)經(jīng)濟高效的成像解決方案。對于這一領(lǐng)域的開發(fā)者來說，提高準(zhǔn)確性和效率變得越來越重要。

簡介

Plumerai 總部位于倫敦，專注于在小型嵌入式設(shè)備上高效地執(zhí)行復(fù)雜的 AI 輔助計算機視覺任務(wù)，諸如人員檢測，包括可識別熟悉的面孔、車輛和寵物。Plumerai 工程師開發(fā)了一個實時人員檢測應(yīng)用程序，并將其移植到了基于 Arm Cortex-M85 的瑞薩 RA8D1 微控制器 (MCU) 上運行，從而利用 Arm Helium 矢量擴展技術(shù)，加速神經(jīng)網(wǎng)絡(luò)，通過少量的系統(tǒng)資源便可實現(xiàn)每秒 13 幀的高性能。

挑戰(zhàn)

在資源受限的嵌入式設(shè)備上運行基于神經(jīng)網(wǎng)絡(luò)的計算機視覺任務(wù)（例如人員檢測）頗具挑戰(zhàn)性。此類應(yīng)用程序需具備高計算性能和低內(nèi)存占用。

傳統(tǒng)上，微控制器不支持 SIMD (單指令多數(shù)據(jù)) 指令，無法實現(xiàn)并行處理和性能的提升。引入 Helium 矢量擴展（也稱為 Cortex-M 矢量擴展技術(shù)，MVE）可以有效彌補這一欠缺。

將所有數(shù)據(jù)都保留在設(shè)備端，而不依賴于云連接，以保障用戶隱私性并增強解決方案的安全性。

解決方案

Plumerai 利用 Cortex-M85 上的 Helium 矢量擴展來加速其人員檢測神經(jīng)網(wǎng)絡(luò)。

Plumerai 構(gòu)建緊湊型神經(jīng)網(wǎng)絡(luò)的方法涉及到垂直整合，需同時考慮所有 AI 層。換句話說，他們并不是將數(shù)據(jù)、模型、訓(xùn)練、推理和硬件分開來處理。這種整體方法對于能效而言至關(guān)重要。

Plumerai 的方法不僅關(guān)注模型架構(gòu)，這只是整個處理過程的一部分，在此基礎(chǔ)上，還要考慮如何將組件與數(shù)據(jù)緊密地聯(lián)系在一起。數(shù)據(jù)對于小型神經(jīng)網(wǎng)絡(luò)來說至關(guān)重要，因此收集、整理和正確標(biāo)記訓(xùn)練數(shù)據(jù)非常關(guān)鍵。

鑒于 Arm 技術(shù)在市場的應(yīng)用普及性和豐富廣泛的生態(tài)系統(tǒng)，Plumerai 選用了 Arm 架構(gòu)。通過在 Cortex-M MCU 上運行軟件，Plumerai 實現(xiàn)了穩(wěn)定的圖像捕捉性能，每秒可捕捉 2-5 幀。當(dāng)采用 Cortex-M85 Helium 擴展的高性能 RA8x1 MCU 面向市場時，他們表現(xiàn)出了濃厚的興趣。

Helium 是 Cortex-M 系列處理器的矢量擴展，可以為執(zhí)行 AI 和 ML 工作負(fù)載的小型節(jié)能設(shè)備提供增強性能。Helium 包含硬件和軟件優(yōu)化，有助于在 Cortex-M 處理器上更快地執(zhí)行神經(jīng)網(wǎng)絡(luò)模型，使其適用于各種應(yīng)用，包括智能傳感器、物聯(lián)網(wǎng)設(shè)備、可穿戴設(shè)備等

他們借助 Helium 更寬的矢量寄存器和增強型點積 EDP 等新的 SIMD 指令，加速卷積和矩陣乘法等關(guān)鍵神經(jīng)網(wǎng)絡(luò)層。

Plumerai 的優(yōu)化推理引擎在性能最大化方面也發(fā)揮了關(guān)鍵作用。經(jīng)測量，它比在采用 Helium 技術(shù)的微控制器上運行 TensorFlow Lite 推理模型的速度快 3.5 倍。得益于 Helium 的加速能力，Plumerai 將人員檢測的工作速度提高了 4 倍；在運行速度僅為 480 Mhz 基于 Cortex-M85 的 RA8D1 MCU 上，其性能提升到了 13 幀率 (FPS)。

這不僅提高了成像速度，還提升了準(zhǔn)確率，進而為人員統(tǒng)計等新應(yīng)用帶來了全新可能。此外，它還可降低整體系統(tǒng)功耗：更高的幀速率意味著更快地捕捉和分析幀數(shù)。因此，如果幀中沒有檢測到人員，系統(tǒng)便可以更快地進入休眠狀態(tài)。

Plumerai 能夠在配備基于 Cortex-M85 的 RA8D1 MCU 的瑞薩評估板上實現(xiàn)這一點，且僅需占用 300 KB RAM (隨機存取存儲器)。對于較為復(fù)雜的 AI 視覺任務(wù)，整個可執(zhí)行二進制文件的大小僅為 1.5 MB。RA8D1 MCU 具備 2MB 閃存、1MB 片上 SRAM 存儲器以及 16 位攝像頭接口，無需任何外部存儲器或其他組件即可打造高質(zhì)量的人員檢測全面解決方案，并且能夠應(yīng)對遮擋、不同姿勢和照明不佳等棘手情況。除此之外，Plumerai 還能夠?qū)崿F(xiàn)公司的一大關(guān)鍵用戶目標(biāo)，即提供隱私友好的解決方案，可以完全在設(shè)備端運行，無需云端處理。因此不會在云端存儲或傳輸任何圖像。

此外，公司還構(gòu)建了自己的優(yōu)化推理引擎和框架，并被 ML Commons 聯(lián)盟評為全球最快的推理引擎及框架。

結(jié)論

Helium 矢量擴展助力 Plumerai 在資源受限的嵌入式設(shè)備上打造高性能計算機視覺應(yīng)用。相關(guān)實現(xiàn)方案既展示了 Helium 的出色能力，也為其他從事嵌入式 AI 工作負(fù)載的開發(fā)者提供了參考模型。