完成人：深圳技術(shù)大學 黎逸鵬（中德智能制造學院2021級本科生）

指導教授：張陽（英特爾邊緣計算創(chuàng)新大使，深圳技術(shù)大學中德智能制造學院副教授）

簡介

本文章將依次介紹如何將 Pytorch 自訓練模型經(jīng)過一系列變換變成 OpenVINOIR 模型形式，而后使用 OpenVINO Python API 對 IR 模型進行推理，并將推理結(jié)果通過 OpenCV API 顯示在實時畫面上。

本文 Python 程序的開發(fā)環(huán)境是 Ubuntu20.04 LTS + PyCharm，硬件平臺是 AIxBoard 愛克斯板開發(fā)者套件。

本文項目背景：針對2023第十一屆全國大學生光電設(shè)計競賽賽題2“迷宮尋寶”光電智能小車題目。基于該賽項寶藏樣式，我通過深度學習訓練出能分類四種不同顏色不同標記形狀骨牌的模型，骨牌樣式詳見圖1.1。

圖1.1 四種骨牌類型

完整指導視頻

1.2/Pytorch pth 模型轉(zhuǎn)換成

OpenVINO IR模型

Pytorch是 一個基于 Torch 的開源 Python 學習庫，是一個以 Python 優(yōu)先的深度學習框架。Pth 模型文件是 Pytorch 進行模型保存時的一種模型格式，OpenVINO 暫不支持直接對 Pth 模型文件進行推理，所以我們要將 Pth 格式的模型先轉(zhuǎn)換成 ONNX 格式文件，再通過 OpenVINO 自帶的 Model Optimizer（模型優(yōu)化器）進一步轉(zhuǎn)變成 OpenVINO IR 模型。處理過程如下所示：

1. 通過 Pytorch 將 Pth 模型轉(zhuǎn)換成 ONNX 模型

轉(zhuǎn)換后的文件（Pth —> ONNX)：

import torch.onnx

# SZTU LIXROBO 23.5.14 #

#******************************************#

# 1. 模型加載

model = torch.load('Domino_best.pth', map_location=torch.device('cpu'))

# 2. 設(shè)置模型為評估模式而非訓練模式

model.eval()

# 3. 生成隨機從標準正態(tài)分布抽取的張量

dummy_input = torch.randn(1,3,224,224,device='cpu')

# 4. 導出ONNX模型（保存訓練參數(shù)權(quán)重）

torch.onnx.export(model,dummy_input,"Domino_best.onnx",export_params=True)

2. 通過終端來將 ONNX 模型轉(zhuǎn)化成 OpenVINO IR 模型格式

在終端中輸入（Terminal）：

mo --input_model Domino_best.onnx --compress_to_fp16

# mo 啟動OpenVINO 的Model Optimizer（模型優(yōu)化器）

# input_model 輸入您轉(zhuǎn)換的ONNX模型內(nèi)容根的路徑

# compress _to_fp16 將模型輸出精度變?yōu)镕P16

等后一會，終端輸出：

代表 ONNX 模型轉(zhuǎn)換成 OpenVINO IR 模型成功。這里的信息告訴我們該 Model 是 IR 11 的形式，并分別保存在 .xml 和 .bin 文件下。

轉(zhuǎn)換后的文件（ONNX —> IR 11）：

mapping 文件是一些轉(zhuǎn)換信息，暫時不會用到該文件。

至此，我們模型轉(zhuǎn)換的全部工作已經(jīng)完成，接下來就是運用 OpenVINO Runtime 對 IR 11 模型進行推理。

1.3/用OpenVINORuntime

對 IR 11 模型進行推理

在這一章節(jié)里我們將在 Pycharm 中使用 OpenVINO Runtime 對我們在1.2章中轉(zhuǎn)換得來的 IR 11 模型進行推理，并將推理結(jié)果實時展現(xiàn)在攝像頭畫面中。

在開始之前，我們不妨了解推理程序的整個工作流程：

導入必要的功能庫（如 openvino.runtime 以及 cv2和 numpy）

探測硬件平臺所能使用的可搭載設(shè)備

創(chuàng)建核心對象以及加載模型和標簽

輸入圖像進行預處理，正則化，轉(zhuǎn)變成網(wǎng)絡輸入形狀

將處理后的圖像交由推理程序進行推理，得到推理結(jié)果和處理時間并顯示出來

1.3.1. 導入功能包

import openvino.runtime as ov

import numpy as np

import cv2

import time

這里一共導入4個功能包

openvino.runtime 這是 openvino runtime 推理的主要功能包，也可用 openvino.inference_engine 進行推理，過程大體是一致的。

numpy 這是常用的一個 Python 開源科學計算庫

cv2 也即 OpenCV，用來處理有關(guān)圖像的一些信息

time 記錄系統(tǒng)運行時間

1.3.2 設(shè)備檢測以及模型載入

我們可以使用 Core 對象中的 available_devices 函數(shù)來獲取當前硬件平臺可供推理引擎使用的設(shè)備。

core = ov.Core()

print(core.available_devices)

如圖所示我們能得到在 AlxBoard 愛克斯開發(fā)板上可供我們使用的推理設(shè)備有 CPU 和 GPU。

將模型進行載入：

# SZTU LIXROBO 23.5.19 #

#************************************#

# 1. 創(chuàng)建核心對象

core = ov.Core()

# 2. 規(guī)定IR 11模型的模型文件和權(quán)重文件

model = "Domino_best.xml"

weights = "Domino_best.bin"

# 3. 將模型文件和權(quán)重文件進行讀取

model_ir = core.read_model(model= model,weights=weights)

# 4. 把模型加載到設(shè)備上

（此處使用HETERO插件進行異構(gòu)，加載到GPU和CPU上）

com_model_ir= core.compile_model(model=model_ir,device_name="HETERO:GPU,CPU")

# 5. 獲取模型輸出層

output_layer_ir = com_model_ir.outputs[0]

# 6. 由于是簡單模型，故label手動注入，也可使用導入標簽文件等其他方式

label = ['BlueFake','BlueTrue','RedFake','RedTrue']

1.3.3 圖像預處理

得到的圖像我們需要做一些預先處理才能輸入到推理引擎中進行推理并得到結(jié)果。這一小節(jié)我們將展示如何把圖像進行處理。

#************************************#

# 圖像預處理、歸一化 #

def normalize(img: np.ndarray) ->np.ndarray:

# 1. 類型轉(zhuǎn)換成np.float32

img = img.astype(np.float32)

# 2. 設(shè)置常用均值和標準差來正則化

mean =(0.485,0.456,0.406)

std =(0.299,0.224,0.255)

img /=255.0

img -=mean

img /=std

# 3. 返回處理后的img

return img

#************************************#

# 圖像處理函數(shù) #

def img_pre(img):

# 1. 對OV輸入圖像顏色模型從BGR轉(zhuǎn)變成RGB

img = cv2.cvtColor(img,cv2.COLOR_BGR2RGB)

# 2. 對圖像進行裁切

res_img = cv2.resize(img, (224, 224))

# 3. 使用我們定義的預處理函數(shù)對圖像進行處理

nor_img = normalize(res_img)

# 4. 將處理好的圖像轉(zhuǎn)變?yōu)榫W(wǎng)絡輸入形狀

nor_input_img = np.expand_dims(np.transpose(nor_img, (2, 0, 1)), 0)

# 5. 返回處理結(jié)果

return nor_input_img

1.3.4 推理過程以及結(jié)果展示

在上一節(jié)中我們把輸入圖像所要進行的預處理圖像進行了一個定義，在這一小節(jié)則是 OpenVINO Runtime 推理程序的核心。

#************************************#

# 推理主程序 #

def image_infer(img):

# 1. 設(shè)置記錄起始時間

start_time = time.time()

# 2. 將圖像進行處理

imgb = img_pre(img)

# 3. 輸入圖像進行推理，得到推理結(jié)果

res_ir = com_model_ir([imgb])[output_layer_ir]

# 4. 對結(jié)果進行歸一化處理，使用Sigmod歸一

Confidence_Level = 1/(1+np.exp(-res_ir[0]))

# 5. 將結(jié)果進行從小到大的排序，便于我們獲取置信度最高的類別

result_mask_ir = np.squeeze(np.argsort(res_ir, axis=1)).astype(np.uint8)

# 6. 用CV2的putText方法將置信度最高對應的label以及其置信度繪制在圖像上

img = cv2.putText(img,str(label[result_mask_ir[3]])+' '+ str(Confidence_Level[result_mask_ir[3]]),(50,80), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2,cv2.LINE_AA)

# 7. 記錄推理結(jié)束時間

end_time = time.time()

# 8. 計算出攝像頭運行幀數(shù)

FPS = 1 / (end_time - start_time)

# 9. 將幀數(shù)繪制在圖像上

img = cv2.putText(img, 'FPS ' + str(int(FPS)), (50, 40), cv2.FONT_HERSHEY_SIMPLEX, 1, (255, 0, 0), 2,cv2.LINE_AA)

# 10. 返回圖像

return img

以上推理函數(shù)編寫已經(jīng)完成。以下是運行主程序：

#********************主程序***********************#

# 1. 獲取攝像頭

cap = cv2.VideoCapture(0)

# 2. 循環(huán)判斷

while 1:

# 1. 獲得實時畫面

success,frame = cap.read()

# 2. 把實時畫面交由推理函數(shù)進行推理

frame = image_infer(frame)

# 3. 將畫面顯示在窗口

cv2.imshow("img",frame)

cv2.waitKey(1)

當我們運行該程序時，會得到如下畫面。

如圖所示，我們的 Pytorch 模型成功在 OpenVINO的優(yōu)化以及推理下成功部署在 AlxBoard 愛克斯開發(fā)板，幀數(shù)在40-60之間，推理的結(jié)果非常好，很穩(wěn)定。

1.4/與 Pytorch 模型

CPU 推理進行比較

原先推理的過程我們是通過 torch 功能庫進行推理，我們將兩者進行比較。

(左為 OpenVINO 優(yōu)化推理，右為 torch 推理）

如圖所示 OpenVINO 優(yōu)化推理過后的結(jié)果從實際幀數(shù)上看大約有5-8倍的提升，推理精度也有少許加強。

1.5結(jié)論

自訓練 Pytorch 模型在通過 OpenVINOModel Optimizer 模型優(yōu)化后用 OpenVINO Runtime 進行推理，推理過程簡單清晰。推理僅需幾個核心函數(shù)便可實現(xiàn)基于自訓練 Pytorch 模型的轉(zhuǎn)化以及推理程序。

OpenVINO 簡單易上手，提供了強大的資料庫供學者查閱，其包含了從模型建立到模型推理的全過程。

審核編輯：湯梓紅