UIUC、IBM 和 Inspirit IoT, Inc（英睿物聯(lián)網(wǎng)）的研究人員提出 DNN 和 FPGA 加速器的協(xié)同設(shè)計(jì)方案（DNN/FPGA co-design），通過首創(chuàng)的「Auto-DNN」網(wǎng)絡(luò)搜索引擎 +「Auto-HLS」加速器生成技術(shù)，自動(dòng)生成適用于終端設(shè)備的 DNN 模型及 FPGA 加速器設(shè)計(jì)。在使用相同的終端設(shè)備，由該協(xié)同設(shè)計(jì)自動(dòng)生成的物體檢測(cè)方案在檢測(cè)精度、速度和效能方面均大幅領(lǐng)先現(xiàn)時(shí)最優(yōu)的 DAC'18 System Design Contest 冠軍方案。

嵌入式 FPGA 助力 AI 應(yīng)用靈活部署

現(xiàn)時(shí)，大量的 AI 應(yīng)用被部署在物聯(lián)網(wǎng)設(shè)備中以滿足實(shí)際場(chǎng)景需求。縱使云端服務(wù)器能分擔(dān)大部分 AI 應(yīng)用的計(jì)算壓力，部分對(duì)實(shí)時(shí)性要求高的任務(wù)受限于網(wǎng)絡(luò)延時(shí)，還是需要在終端設(shè)備處理，如自動(dòng)駕駛車輛、無人機(jī)上的物體識(shí)別，場(chǎng)景分割任務(wù)等。在物聯(lián)網(wǎng)終端設(shè)備中部署 DNN，設(shè)計(jì)者需要克服 DNN 精度要求高、實(shí)時(shí)性要求強(qiáng)、能耗要求低、終端設(shè)備可用資源少等困難。

通過在終端中使用嵌入式 FPGA 作為 DNN 加速器，設(shè)計(jì)人員可獲得更低的延時(shí)和能耗（對(duì)比 CPU/GPU 解決方案），以及更高的靈活度和更短的產(chǎn)品上市周期（對(duì)比 ASIC 解決方案）。然而，在資源受限的嵌入式 FPGA 中部署 DNN 加速器依然困難重重。

高質(zhì)量 AI 應(yīng)用需要 DNN/FPGA 協(xié)同設(shè)計(jì)

通常，DNN 及 FPGA 加速器會(huì)被分成兩步獨(dú)立設(shè)計(jì)。

一方面，DNN 設(shè)計(jì)會(huì)優(yōu)先滿足精度需求，并在部署時(shí)寄望硬件加速器能提供足夠高的吞吐率和實(shí)時(shí)性能。但由于 DNN 在設(shè)計(jì)初期缺乏對(duì)目標(biāo)硬件特性的考量，網(wǎng)絡(luò)結(jié)構(gòu)會(huì)過分復(fù)雜并產(chǎn)生冗余，容易超出目標(biāo)硬件可承受范圍。

另一方面，DNN 加速器在架構(gòu)確定后會(huì)通過比例縮放計(jì)算和存儲(chǔ)單元以適應(yīng)不同大小的 FPGA。在硬件資源極度受限時(shí)，過分縮小加速器會(huì)大幅減慢 DNN 推理計(jì)算效率，最終導(dǎo)致無法滿足應(yīng)用實(shí)時(shí)性、吞吐率等要求。

上述獨(dú)立設(shè)計(jì)方法需要經(jīng)歷多次反復(fù)設(shè)計(jì) DNN 及加速器，如在 DNN 設(shè)計(jì)時(shí)嘗試網(wǎng)絡(luò)剪枝、稀疏化、參數(shù)量化等以減少網(wǎng)絡(luò)推理計(jì)算量，在加速器設(shè)計(jì)時(shí)嘗試不同核心計(jì)算單元、調(diào)試并行參數(shù)等以適配硬件可用資源。這類設(shè)計(jì)需要探索巨大的設(shè)計(jì)空間，異常繁瑣和耗時(shí)。

為此，作者認(rèn)為業(yè)界需要一種更高效的自動(dòng) DNN/FPGA 協(xié)同設(shè)計(jì)方案：在設(shè)計(jì) DNN 時(shí)充分考慮加速器架構(gòu)、資源約束等硬件因素；并且，同時(shí)生成高度優(yōu)化的 FPGA 加速器以用于物聯(lián)網(wǎng)終端設(shè)備。

自動(dòng)客制化 DNN/FPGA 加速方案

本文提出的協(xié)同設(shè)計(jì)流程（圖 1）共包含 4 個(gè)主要模塊：1）DNN 結(jié)構(gòu)模板 Bundle-Arch；2）網(wǎng)絡(luò)搜索引擎 Auto-DNN；3）低延時(shí)加速器基礎(chǔ)架構(gòu) Tile-Arch；4）加速器生成器 Auto-HLS。其中，前兩個(gè)模塊用于 DNN 結(jié)構(gòu)搜索，而后兩模塊對(duì)應(yīng) FPGA 加速器設(shè)計(jì)。

協(xié)同設(shè)計(jì)第一步是搭建 Bundle 并對(duì) Bundle 建立計(jì)算延時(shí)和資源消耗模型。對(duì)于給定的 AI 任務(wù)（分類、物體檢測(cè)等），系統(tǒng)從硬件 IP 池中選取神經(jīng)網(wǎng)絡(luò)組件并組合成多個(gè) Bundle（如圖 1 左下的 Bundle 1 包含了 Conv3x3，Conv5x5，Pooling 和 Relu 共 4 個(gè) IP）作為 DNN 基本結(jié)構(gòu)，并通過分析模型獲取每一個(gè) Bundle 在目標(biāo) FPGA 上的延時(shí)和資源消耗。這確保 DNN 在設(shè)計(jì)之初就包含了足夠的硬件信息。

在第二步，該方案選擇前 N 個(gè)滿足性能和資源要求且精度最高的 Bundle 搭建原型網(wǎng)絡(luò)。在對(duì) Bundle 作粗 / 細(xì)粒度評(píng)估后，每一個(gè) Bundle 將被置于「硬件性能 - DNN 精度」空間，并將硬件性能指標(biāo)相近的 Bundle 分為一組。每組精度最高的若干個(gè) Bundle（共 N 個(gè)）會(huì)被選中并交由下一步處理。

最后一步，Auto-HLS 產(chǎn)生精準(zhǔn)硬件性能信息協(xié)助 Auto-DNN 更新原型網(wǎng)絡(luò)。基于 Bundle 的 DNN 結(jié)構(gòu)（圖 2）擁有網(wǎng)絡(luò)層數(shù)多寡、通道數(shù)增減等不同配置。Auto-DNN 使用隨機(jī)坐標(biāo)下降（SCD）算法探索 DNN 配置，并借助 Auto-HLS 產(chǎn)生的硬件性能信息（如運(yùn)算延時(shí)、資源消耗等）為反饋，選擇最適合目標(biāo)硬件且精度最好的設(shè)計(jì)。