這是新的系列教程，在本教程中，我們將介紹使用 FPGA 實現深度學習的技術，深度學習是近年來人工智能領域的熱門話題。

在本教程中，旨在加深對深度學習和 FPGA 的理解。

用 C/C++ 編寫深度學習推理代碼

高級綜合 (HLS) 將 C/C++ 代碼轉換為硬件描述語言

FPGA 運行驗證

在之前的文章中，我們已經依次抽取了推理核的任務并行度和循環并行度。在本文中，我們將提取推理內核的數據并行性。

數據并行

數據并行性表示待處理數據之間的并行度。

下面的代碼是一個簡單的向量加法運算，但是由于c[0]和c[1]計算之間沒有依賴關系，所以可以同時計算。這種并行性就是數據并行性。

for(inti=0;i

	

	另一方面，在以下處理的情況下，b[1]的值取決于b[0] ，因此在這種情況下無法提取數據并行性。

	
for(inti=0;i

	

	補充一下和上次討論的循環并行的區別，在循環并行中，每個進程都在一個流水線中執行。因此，上述向量相加處理的處理波形如下。

	

	循環并行

	另一方面，提取數據并行性對應于復制運算單元。復制兩個計算器時的波形如下。

	

	數據并行

	處理數據并行性的難點在于，我們提取的數據并行性越多，消耗的硬件資源就越多。訪問內存資源（加載/存儲）特別容易出現問題。請注意，FPGA 中的 BRAM 每個周期最多只能發出 2 次加載/存儲，因此如果每個周期需要超過 3 次加載/存儲，則 BRAM 將加倍（如果訪問目標是 BRAM）。

	如下圖所示，可以同時提取循環并行度和數據并行度。

	

	數據+循環并行

	本文所有代碼都是數據+循環并行的同時提取。

	卷積處理中的數據并行

	在卷積過程的6級循環（輸出通道，y坐標，x坐標，輸入通道，內核y方向，內核x方向）中可以提取出各種并行性。

	在本文中，我們將提取其中兩者的并行性，提高內核的性能。

	首先，可以提取的并行度是下圖所示的處理像素之間的并行度。

	 處理像素之間的并行性

	由于橙色和藍色像素的計算是相互獨立的，所以它們可以同時進行。此外，用于卷積計算的內核（黃色）可以為兩種計算共享。因此，一個過程（兩個卷積）所需的內存訪問是兩次像素讀取和一次內核讀取。

	第二種并行度是下圖所示的輸出通道之間的并行度。

	 輸出通道之間的并行度

	由于黃色和藍色核的卷積計算是相互獨立的，所以它們也可以同時進行。在這個例子中，內核需要兩次讀取，但像素只需要一次讀取。一個進程（卷積）所需的內存訪問是一次像素讀取和兩次內核讀取。

	兩種并行性的圖形表示如下所示。2個pixel reads和2個kernel reads可以計算出4個輸出值。

	 處理像素之間的并行度+輸出通道之間的并行度

	基于此圖要實現的HW框圖如下。

	 卷積處理塊

	此處重要的是計算單元 (PE) 可以以網格模式排列。

	僅對一個通道（像素/輸出通道）進行數據并行化時，并行度只排列一個n算子。n前面提到，并行度的增加會導致內存資源使用量的增加，比如BRAM，在一個通道進行并行化時無法充分使用DSP。

	另一方面，如上圖所示，如果將兩個通道并行化，則像素側的并行度設為n，輸出通道側的并行度設為m，則總內存訪問端口數相對于n+m的增加量，運算器可以排列n*m個。這樣一來，FPGA中的大部分資源都可以分配給運算。許多DNN體系結構（如xDNN）都是這樣同時提取多通道數據并行性的。

	代碼更改

	由于兩個通道的數據并行化是完全一樣的，本文只描述兩個通道并行化的結果。另外，在上一篇文章中使用移位寄存器達到了II=1，但是這里我們使用以前的版本。后面會介紹使用方法。

	修改后的卷積函數如下所示：完整的代碼后續會開源。

	
203template
204staticvoidconv2d_unrolled_v2(constfloat*x,constfloat*weight,constfloat*bias,int32_twidth,int32_theight,
205int32_tin_channels,int32_tout_channels,int32_tksize,float*y){
206
207for(int32_tblock_och=0;block_och

	

	主要變化如下。

	1、添加模板參數UNROLL_X, UNROLL_OCH(L203)

	2、將輸出通道回路更改為 2 級（L207、L217、L247）

	3、將 x 方向循環更改為 2 步（L209、L219、L249）

	4、重復總和寄存器 (L210)

	5、添加了新的編譯指示unroll（L218、L220、L248、L250）

	6、設置內循環管道II為4（L216）

	1、添加了一個模板參數，以便可以在外部指定函數的性能。Vivado HLS / Vitis 與 C++ 模板的兼容性非常好，不僅可以像這次這樣使用，還可以像這樣進行設置#pragma HLS pipeline II=。對于習慣寫Verilog HDL等的人來說，parameter幾乎可以像模塊語法一樣使用。

	2中執行的輸出通道更改為 2 級，內部循環旋轉了數據并行化時的并行度，local_och外部block_och循環旋轉了UNROLL_OCH寬度。如果這樣做，當輸出通道數UNROLL_OCH不是2的倍數時，會發生數組元素之外的訪問，因此需要像 L221 這樣的處理。

	此外，local_och循環被移動到原始代碼中最內層循環的循環內kw。此更改不會影響此問題的輸出，但請注意，根據正在處理的問題，可能存在更改輸出的依賴項。

	3和2的修改完全一樣，4的求和寄存器變成了存儲上述格運算單元（PE）計算結果的寄存器。

	5#pragma HLS unroll是用于將數據并行性應用于循環并布置多個運算單元的編譯指示。默認情況下，運算符根據循環的迭代次數重復，但factor=N可以通過提供參數來控制運算符的重復次數。

	由于我們將這個 pragma 設置為local_och, local_w兩個循環，所以 L223-239 中的求和操作和 L252-L256 中的偏置加法和輸出操作UNROLL_W * UNROLL_OCH是重復的。看起來L239進行x, weight的加載處理也UNROLL_W * UNROLL_OCH加了1，但是由于編譯器優化，每個端口UNROLL_W, UNROLL_OCH只加1。

	6中設置的II=4的值就是我們在上一篇文章中看到的處理延遲。在上一篇文章中，我介紹了一種使用移位寄存器實現如下波形的技術。

	

	在這個例子中，我們使用了一個移位寄存器來處理每個周期切換輸出目標寄存器，但是如果你像這次做數據并行化，你只需要每個周期切換數據作為計算目標。我只是更改了左側的標簽，但是如果對此進行說明，它將如下圖所示。

	

	如果這樣做，就不需要像上次那樣需要移位寄存器之間的求和，所以效率很高。

	設置 II=4 的另一個原因是x, weight端口數。它們基本上是作為 BRAM 實現的，每個周期總共允許兩次讀/寫。由于x只是在卷積層處理的過程中被卷積層讀取，所以每個周期最多可以讀取2次，但是這樣一來，當數據并行化的并行度設置為4時，端口數就不夠用了。

	由于這次II=4，當并行度為4時，每4個周期供給4個數據就足夠了。它只需要 1 個讀取端口，因此 BRAM 默認帶寬就足夠了。快速說明如果想要超過 16 度的并行度該怎么做，這可以通過#pragma HLS array_partition pragma來完成，下面附上UG902中的示意圖。

	

	C 中定義的數組默認為 1 端口數組，如圖中左側所示。如果它像我在上一篇/這篇文章中使用的那樣擴展為一個寄存器，或者如果它被并發訪問，就像在這個complete循環 其實適當設置這個pragma而不降低II才是王道，但是這個pragma必須定義在數組資源（本次函數）的定義范圍內，而且改變需要時間，所以這次沒有使用。

	綜合結果/性能

	使用x方向平行度為4、輸出通道方向平行度為4的卷積函數綜合推理函數。由于這個卷積函數如上所述有II=4，所以它每4個周期執行16次操作。在這個配置中，需要的運算單元個數為16/4 = 4，每個內存的訪問端口為一個4/4 = 1端口。

	查看綜合結果，卷積函數中浮點運算單元資源使用量變化如下。

	

	原始配置有兩個 fadds 和一個 fmul，具有兩個 fadds 的那個full_dsp_1用于添加偏差。另一方面，在數據并行化后的結果中，fadd為6，fmul為4。除了偏置加法的數量full_dsp_1增加到2之外，fadd/fmul各為4，資源量符合預期。

	性能報告如下，conv2的執行時間，上篇文章時為0.423ms，加速到82.875us。

	

	審核編輯：湯梓紅