你有沒有被問過，“你不能用人工智能來提高我們系統的性能嗎？”

或者，“你能否通過將人工智能融入我們的設備來為我們的設備增加更多價值？”

人工智能、深度學習、神經網絡……人工智能應用正在呈指數級擴展，沒有一天不聽這些話。另外，有很多人有同樣的想法——“我很感興趣，但即使我研究了一點，我也不太明白如何使用它。我不知道如何在我的工作中使用它，我無法想象它會給我的工作帶來什么價值。”

在這篇博客中，我想介紹使用瑞薩嵌入式 AI 處理器 - RZ/V 系列的軟件包進行 AI 評估。

什么是人工智能？

如果您已經熟悉 AI 和深度學習，這可能沒有必要，但我想先回顧一下有關 AI 的一些基礎知識。

人工智能 （AI）。許多書籍和網站都以各種方式解釋了這一點，例如人工智能可以像專業人士一樣下棋，或者只需要求它打開房間里的燈。但是，我想專注于人工智能的最狹義定義：使用神經網絡技術的人工智能，特別是——視覺人工智能——可以對圖像進行各種識別和判斷。

神經網絡。如圖 1 所示，生物體大腦中的神經接收來自多個其他神經元的輸入，并將它們傳送到下一個神經元。眾所周知，記憶、識別和判斷是基于兩種信號的組合：來自輸入側的信號被使用的強度（加權）以及加權后每個輸入的總和如何傳輸到輸出側（激活功能）。

使用神經網絡的人工智能模仿這種機制，通過大量的算術處理來進行各種識別和判斷，例如對多個輸入進行加權、求和，然后通過激活函數將結果傳遞到下一個階段。

以 3x3 卷積運算為例，它經常在 Vision AI 中用于量化輸入圖像的特征。圖像首先被細分為 3 像素 x 3 像素的圖像。對每個值（像素密度）進行加權，并使用激活函數將這些值的總和作為輸出值發送到下一個階段。（圖2）

圖 2 神經網絡的 3x3 卷積運算示例

這個過程首先在輸入圖像的整個表面上進行，然后是由輸出創建的下一個圖像（因此它不完全是已經可以看作圖像的數據，它被稱為 - 特征值，這意味著抽象輸入圖像特征的數據）被發送到下一個重復相同過程的神經網絡。

即使是簡單的圖像識別，比如區分數字和字母，也需要幾層這樣的計算，而一般的物體識別需要幾十層這樣的計算，所以通過重復無數次的操作，我們就可以實現圖像識別，比如確定數字5 是 5 或從狗的圖像中識別狗的位置。

簡而言之，最大的區別在于沒有人工智能的傳統計算機軟件——人們思考他們想要處理什么（算法）并構建程序——而使用神經網絡的人工智能——使用大量輸入和自動準備處理所需的內部數據（加權參數）。換句話說，在人工智能中，主角不是程序，而是數據。因此，雖然傳統的軟件開發側重于編程，但人工智能開發中最重要和最耗時的部分是準備加權參數（學習）的過程，以便它能夠以必要的精度和速度。

我們在此介紹的 AI 評估軟件包使用了 PyTorch 等 AI 框架提供的預訓練模型，因此您可以評估 AI 的圖像推理執行情況，而無需耗時的學習過程。

讓我們考慮一個視覺 AI 評估的具體說明。

需要什么？

無需從一開始就購買評估板。在這篇博客中，我將幫助您體驗嵌入式 AI 處理器 RZ/V 系列的 Vision AI 實現流程，僅使用免費的開源軟件（以下簡稱 OSS）和瑞薩電子在網絡上免費提供的軟件包。

*1 PyTorch、PyTorch 徽標和任何相關標記是 Facebook， Inc. 的商標。

*2 TensorFlow、TensorFlow 徽標和任何相關標記是 Google Inc. 的商標。

*3 DRP-AI Translator：瑞薩電子的 ONNX 轉換工具

圖 3 RZ/V2L AI實現工具流程整體架構

圖 3 顯示了整個工具流程。人工智能學習有各種行業標準框架，大家熟悉，所以我們開發了RZ/V系列，“你可以使用現有的你熟悉的人工智能框架進行人工智能訓練，將訓練好的神經網絡模型連接到瑞薩工具使用一種稱為 ONNX 的通用格式，”——這是一種 AI 開發流程。ONNX 是一種被廣泛采用的格式，大多數 AI 框架都能夠直接輸出或使用轉換工具以 ONNX 格式輸出，但我們將使用 AI 框架 PyTorch 作為示例。

在 AI 世界中，Linux 而非 Windows 是事實上的標準，這里使用的所有操作系統和軟件包也需要安裝 Linux（Ubuntu）的 PC。

有一種稱為 WSL2 的技術可以在 Windows 上將 Linux 作為虛擬操作系統運行，但瑞薩評估包不保證可以與 WSL2 一起使用，因此請準備一臺安裝了 Ubuntu 的 PC。如果你不打算做 AI 學習，你不需要高性能，所以你也可以重復使用手頭的舊 PC。

首先，一臺 Linux PC 和 DRP-AI 支持包

準備好 Linux PC

對于硬件，您可以使用您自己的帶有 x86 64 位 CPU 和至少 6GB RAM 的 PC，但操作系統不是 Windows。我們將改為使用 Linux 發行版之一的 Ubuntu 版本 18.04。

轉到提供 Uubuntu 18.04 的網頁并從ubuntu-18.04.6-desktop-amd64.iso下載 ISO 文件。

您可以使用適用于 Windows 的 Rufus 工具將 ISO 文件轉換為可引導的 USB 驅動器，以便您可以在計劃安裝 Ubuntu 的 PC 上安裝 Ubuntu 18.04。

（有關使用 Rufus 的詳細信息，請參閱 https://rufus.ie/en/ 。）

準備好軟件

要下載軟件，首先從瑞薩電子網站下載軟件包“ RZ/V2L DRP-AI Support Package ”。該文件是一個超過 2GB 的大型 ZIP 文件，因此我們建議通過高速互聯網連接下載它。

解壓此 ZIP 文件時，打開文件夾 rzv2l_ai-implementation-guide，您將在其中找到文件

rzv2l_ai-implementation-guide_en_rev5.00.pdf（以下簡稱“實施指南”）。

本指南以分步練習的形式編寫。如果您遵循它，您將能夠評估包含的經過訓練的神經網絡模型，從轉換到評估板上的實際操作。接下來，我想介紹一些在使用本指南進行評估時需要考慮的要點。

圖 4 DRP-AI 支持包詳情

創建 ONNX 文件

從這里開始，我們將在 Linux 中使用命令行。

（如果您是 Linux 新手，則需要學習操作系統本身的基本命令。）

AI 框架 PyTorch 和 torchvision 也可以使用命令 pip3 從 Linux 命令行安裝。（請參閱實施指南，第 2.2 章，第 26 頁）

在您下載的 DRP-AI 支持包中，您會找到 rzv2l_ai-implementation-guide_ver5.00.tar.gz 壓縮文件。按照實施指南中的說明解壓縮文件。（第 30 頁）

同樣，在名為 pytorch_mobilenet 的文件夾中，在 rzv2l_ai-implementation-guide 下，您將找到文件

pytorch_mobilenet_en_rev5.00.pdf（以下簡稱 MobileNet 指南）和 pytorch_mobilenet_ver5.00.tar.gz，您應該按照實施指南。

MobileNet 是為移動和嵌入式設備開發的用于圖像識別的輕量級快速神經網絡，它輸出圖像中對象正確答案的概率。例如，如圖5所示，物體是小獵犬的概率為93.53%，說明判斷正確。

圖 5 MobileNet的圖像識別圖像

如果您繼續閱讀 pytorch_mobilenet_en_rev5.00.pdf 的第 2 章，您將找到一個名為 mobilenet_v2.onnx 的文件。這是具有 ONNX 格式的加權參數的預訓練 MobileNet v2 神經網絡模型的表示。

現在我們已經有了經過訓練的 ONNX 文件，讓我們進入下一階段，為 DRP-AI 創建 DRP-AI 對象文件并評估性能。

在 DRP-AI Translator 中轉換為 DRP-AI 對象文件

從這里開始，我們將使用 Renesas 的 ONNX 轉換工具 DRP-AI Translator。首先，從 Renesas 網站下載DRP-AI Translator 。

根據實施指南的第 3.1 章安裝解壓縮的安裝程序。如果您按照實施指南和 MobileNet 指南中的步驟操作，您最終應該會得到如圖 6 所示的目錄結構。

圖 6 ONNX 文件的目錄結構和 DRP-AI 轉換器目錄結構

在此之后，通過復制/重命名和編輯樣本中的文件，準備要輸入到 DRP-AI 翻譯器的文件。有關詳細說明，請參閱 MobileNet 指南第 3.3-3.5 章。

準備好后，ONNX 轉換本身可以通過一個命令完成。對于 RZ/V2L，從 shell 運行

$ 。/run_DRP-AI_translator_V2L.sh mobilenet_v2 -onnx 。/onnx/mobilenet_v2.onnx

在工作目錄下的 output/mobilenet_v2/ 目錄中，這將生成在真實芯片上運行 MobileNet 所需的二進制文件。（圖 7）

圖 7 運行 DRP-AI Translator 后的文件列表

如何閱讀性能估算器 Excel

除了評估實際設備所需的對象外，DRP-AI 轉換器還輸出神經網絡模型的摘要，該模型從 ONNX 轉換為 Excel 格式。（圖 8）

連同神經網絡模型的結構信息，此 Excel 文件包含模型每一層（每個功能）的大致處理時間（DRP-AI 單機性能，不包括 LSI 內部總線和外部 DRAM 帶寬的限制） ，它允許您估計近似性能。

圖 8 mobilenet_v2_summary.xlsx 示例

概括

我們為對AI感興趣但不知從何下手的用戶介紹了瑞薩電子提供的免費軟件包，大家可以試試。如果您擁有本博客中創建的目標文件，那么您離使用真實芯片評估 AI 性能又近了一步。本博客使用的RZ/V2L的評估板套件已經可以購買，您可以體驗到評估板套件中嵌入的實際芯片的AI性能、低功耗和低發熱。

瑞薩嵌入式 AI 處理器的 RZ/V 系列還包括RZ/V2M ，其 AI 性能比這里介紹的RZ/V2L高約 1.5 倍，并且提供RZ/V2M DRP-AI Support Package，可用于與上面提到的方法相同。

審核編輯：郭婷