RK3562J是瑞芯微最新推出的一款超高性價比工業(yè)處理器，四核Cortex-A53@1.8GHz + Cortex-M0@200MHz異構(gòu)多核架構(gòu)，并支持十路UART、兩路CAN、兩路網(wǎng)口、三種顯示、雙路Camera等，外設(shè)接口資源十分豐富，是RK3568J處理器降成本、降功耗的首選平臺，在工商業(yè)儲能EMS、通訊管理機、運動控制器、AGV機器人、車載數(shù)據(jù)網(wǎng)關(guān)等場景被廣泛應(yīng)用。

近期，瑞芯微在RK3562J處理器上正式開放NPU功能，使RK3562J的應(yīng)用領(lǐng)域進一步拓展到機器視覺、工業(yè)相機、目標(biāo)識別等領(lǐng)域，性價比得到進一步提升。創(chuàng)龍科技RK3562核心板（商業(yè)級）含稅價格一片起僅168元，性價比還是蠻高的，并且此平臺目前已被超過500家工業(yè)客戶選用，得到了用戶的廣泛好評。

RK3562J NPU簡介

瑞芯微RK3562J是一款超高性價比國產(chǎn)工業(yè)級處理器，內(nèi)置超強算力NPU，算力高達1TOPS，能夠?qū)崿F(xiàn)高效的神經(jīng)網(wǎng)絡(luò)推理計算。RK3562J的NPU支持多種數(shù)據(jù)類型，包括INT4、INT8、INT16、FP16等，兼容TensorFlow、PyTorch、Caffe、MXNet等深度學(xué)習(xí)框架，能夠為開發(fā)者提供豐富的工具和庫，使他們能夠方便地進行模型訓(xùn)練和推理，可輕松應(yīng)對各種大數(shù)據(jù)運算場景。

RK3562J NPU開發(fā)流程

第一步：模型訓(xùn)練

首先需要收集并準(zhǔn)備訓(xùn)練數(shù)據(jù)，選擇適合的深度學(xué)習(xí)框架（如TensorFlow、PyTorch、Keras等）訓(xùn)練模型或使用官方提供的模型。

第二步：模型轉(zhuǎn)換

完成模型訓(xùn)練后，使用RKNN-Toolkit2將預(yù)訓(xùn)練模型轉(zhuǎn)換為RK3562J NPU可使用的RKNN模型。這通常涉及到將模型中的計算圖進行適當(dāng)?shù)男薷暮蛢?yōu)化，以適應(yīng)NPU的硬件架構(gòu)和指令集。

第三步：應(yīng)用開發(fā)

基于RKNN API開發(fā)應(yīng)用程序。開發(fā)階段需要根據(jù)具體需求，將轉(zhuǎn)換后的模型集成到應(yīng)用程序中。

圖 3

RK3562J NPU開發(fā)案例

本文主要介紹基于RK3562J的NPU開發(fā)案例，適用開發(fā)環(huán)境如下。

Windows開發(fā)環(huán)境：Windows 7 64bit、Windows 10 64bit

虛擬機：VMware16.2.5

開發(fā)環(huán)境：Ubuntu20.04.6 64bit

U-Boot：U-Boot-2017.09

Kernel：Linux-5.10.198

LinuxSDK：LinuxSDK-[版本號]（基于RK3562_LINUX_SDK_RELEASE_V1.1.0_20231220）

硬件平臺：創(chuàng)龍科技TL3562-EVM工業(yè)評估板（基于RK3562J）

為了簡化描述，本文僅摘錄部分方案功能描述與測試結(jié)果，詳細產(chǎn)品資料可以通過公眾號（Tronlong創(chuàng)龍科技）下載。

案例說明

案例基于RKNN API實現(xiàn)對圖片中目標(biāo)對象的識別，并將識別結(jié)果以加水印的方式添加至圖像，然后保存成圖片文件。案例進行10次循環(huán)測試，統(tǒng)計出推理的平均處理耗時。

程序處理流程圖如下：

圖 4

案例演示

通過網(wǎng)線將評估板千兆網(wǎng)口ETH0 RGMII連接至路由器。

圖 5

在可執(zhí)行文件所在目錄，執(zhí)行如下命令，對圖片bus.jpg目標(biāo)對象進行模型推理。

備注：模型運行的時間會有抖動。

Target#./yolov5_object_detect yolov5s-640-640_rk3562.rknn bus.jpg

圖 6

從輸出信息可知，本案例程序識別出測試圖片bus.jpg中包含person、car、bus、truck對象，運行1次模型耗時約為70.18ms；循環(huán)運行10次模型平均耗時約為54.56ms。

案例程序?qū)y試圖片bus.jpg的目標(biāo)對象標(biāo)記成功后將輸出標(biāo)記圖片out.jpg至當(dāng)前目錄，將out.jpg文件拷貝至Windows下，并使用PC端相關(guān)軟件對比查看bus.jpg與out.jpg，結(jié)果如下所示。

圖 7 bus.jpg 圖 8 out.jpg

不難看出，圖8的案例程序是能夠清晰準(zhǔn)確地框選出人物、汽車、巴士、卡車，同時顯示person、car、bus、truck文字標(biāo)簽和置信度，標(biāo)記出對象的數(shù)量等信息。

到這里，簡單的NPU開發(fā)演示案例就結(jié)束了，想要查看更多RK3562J相關(guān)的案例演示，歡迎各位工程師關(guān)注公眾號（Tronlong創(chuàng)龍科技）并下載，快來試試吧！

審核編輯 黃宇