基于FPGA的通用CNN加速設計，可以大大縮短FPGA開發周期，支持業務深度學習算法快速迭代；提供與GPU相媲美的計算性能，但擁有相較于GPU數量級的延時優勢，為業務構建最強勁的實時AI服務能力。

WHEN？深度學習異構計算現狀

隨著互聯網用戶的快速增長，數據體量的急劇膨脹，數據中心對計算的需求也在迅猛上漲。同時，人工智能、高性能數據分析和金融分析等計算密集型領域的興起，對計算能力的需求已遠遠超出了傳統CPU處理器的能力所及。

異構計算被認為是現階段解決此計算溝壑的關鍵技術，目前 “CPU+GPU”以及“CPU+FPGA” 是最受業界關注的異構計算平臺。它們具有比傳統CPU并行計算更高效率和更低延遲的計算性能優勢。面對如此巨大的市場，科技行業大量企業投入了大量的資金和人力，異構編程的開發標準也在逐漸成熟，而主流的云服務商更是在積極布局。

WHY？通用CNN FPGA加速

業界可以看到諸如微軟等巨頭公司已經部署大批量的FPGA來做AI inference加速，FPGA相較于其他器件的優勢是什么呢？

Flexibility：可編程性天然適配正在快速演進的ML算法

DNN、CNN、LSTM、MLP、reinforcement learning以及決策樹等等

任意精度動態支持

模型壓縮、稀疏網絡、更快更好的網絡

Performance：構建實時性AI服務能力

相較于GPU/CPU數量級提升的低延時預測能力

相較于GPU/CPU數量級提升的單瓦特性能能力

Scale

板卡間高速互聯IO

Intel CPU-FPGA構架

與此同時，FPGA的短板也非常的明顯，FPGA使用HDL硬件描述語言來進行開發，開發周期長，入門門檻高。以單獨的經典模型如Alexnet以及Googlenet為例，針對一個模型進行定制的加速開發，往往需要數月的時間。業務方以及FPGA加速團隊需要兼顧算法迭代以及適配FPGA硬件加速，十分痛苦。

一方面需要FPGA提供相較于CPU/GPU有足夠競爭力的低延時高性能服務，一方面需要FPGA的開發周期跟上深度學習算法的迭代周期，基于這兩點我們設計開發了一款通用的CNN加速器。兼顧主流模型算子的通用設計，以編譯器產生指令的方式來驅動模型加速，可以短時間內支持模型切換；同時，對于新興的深度學習算法，在此通用基礎版本上進行相關算子的快速開發迭代，模型加速開發時間從之前的數月降低到現在的一到兩周之內。

HOW？通用CNN FPGA架構

基于FPGA的通用CNN加速器整體框架如下，通過Caffe/Tensorflow/Mxnet等框架訓練出來的CNN模型，通過編譯器的一系列優化生成模型對應的指令；同時，圖片數據和模型權重數據按照優化規則進行預處理以及壓縮后通過PCIe下發到FPGA加速器中。FPGA加速器完全按照指令緩沖區中的指令集驅動工作，加速器執行一遍完整指令緩沖區中的指令則完成一張圖片深度模型的計算加速工作。每個功能模塊各自相對獨立，只對每一次單獨的模塊計算請求負責。加速器與深度學習模型相抽離，各個layer的數據依賴以及前后執行關系均在指令集中進行控制。

簡單而言，編譯器的主要工作就是對模型結構進行分析優化，然后生成FPGA高效執行的指令集。編譯器優化的指導思想是：更高的MAC dsp計算效率以及更少的內存訪問需求。

接下來我們以Googlenet V1模型為例，對加速器的設計優化思路做簡單的分析。Inception v1的網絡，將1x1、3x3、5x5的conv和3x3的pooling stack在一起，一方面增加了網絡的width，另一方面增加了網絡對尺度的適應性。下圖為模型中Inception的基本結構。

數據依賴關系分析

此部分主要分析挖掘模型中可流水化以及可并行化的計算。流水化的設計可以提高加速器中的計算單元利用率，并行化的計算可以在同一時刻利用盡量多的計算單元。

關于流水，分析部分包括數據從DDR加載到FPGA片上SRAM的操作與PE進行計算的流水，通過此項優化將內存訪問的時間overlap；DSP計算整列的計算控制過程，保證DSP利用率的提升。

關于并行，需要重點分析PE計算陣列與激活、pooling以及歸一化等“后處理”模塊之間的并行關系，如何確定好數據依賴關系以及防止沖突是此處設計關鍵。在Inception中，可以從其網絡結構中看到，branch a/b/c的1x1的卷積計算與branch d中的pooling是可以并行計算的，兩者之間并不存在數據依賴關系。通過此處優化，3x3 max pooling layer的計算就可以被完全overlap。

模型優化

在設計中主要考慮兩個方面：尋找模型結構優化以及支持動態精度調整的定點化。