隨著AI快速發(fā)展應(yīng)用，尤其是圖像處理數(shù)據(jù)量大，快速響應(yīng)，CPU不再是好的選擇。GPU芯片逐漸成為深度神經(jīng)網(wǎng)絡(luò)（DNN, Deep Neural Network）計(jì)算的主流。

物聯(lián)網(wǎng)被認(rèn)為是繼計(jì)算機(jī)、互聯(lián)網(wǎng)之后世界信息產(chǎn)業(yè)發(fā)展的第三次浪潮，未來5-10年會對人類生產(chǎn)、生活產(chǎn)生深遠(yuǎn)影響，隨著AI的蓬勃發(fā)展，IoT開始邁入AI+IoT智聯(lián)網(wǎng)時(shí)期。

什么是AIoT？

智聯(lián)網(wǎng)（AIoT）概念明確提出是在2017 年2 月，《人工智能芯片助陣，物聯(lián)網(wǎng)將進(jìn)化為AI+IoT》一文提到，“受過訓(xùn)練的AI系統(tǒng)，目前在特定領(lǐng)域的表現(xiàn)已可超越人類，而相關(guān)軟件技術(shù)迅速發(fā)展的背后，與專用芯片的進(jìn)步息息相關(guān)。在芯片對人工智能的支持更加完善后，物聯(lián)網(wǎng)（IoT）將可望進(jìn)化成AIoT（AI+IoT）。智能機(jī)器人的遍地開花只是個(gè)開端，人工智能終端芯片引領(lǐng)的邊緣運(yùn)算，其所將帶來的商機(jī)更讓人引頸期盼”。

具體來說，AIOT是指融合AI技術(shù)和IoT技術(shù)，通過物聯(lián)網(wǎng)產(chǎn)生、收集海量的數(shù)據(jù)存儲于云端、邊緣端，再通過大數(shù)據(jù)分析，以及更高形式的人工智能，形成智能化的應(yīng)用場景和應(yīng)用模式，服務(wù)實(shí)體經(jīng)濟(jì)，為人類的生產(chǎn)活動，生活所需提供更好的服務(wù)，實(shí)現(xiàn)萬物數(shù)據(jù)化、萬物互聯(lián)化。

AIoT的變化與趨勢

AIoT是AI與IoT融會發(fā)展的產(chǎn)物。IoT通過各種設(shè)備（比如傳感器、RFID、 WIFI、LPWA、使能平臺、連接平臺等）將現(xiàn)實(shí)世界的物體“萬物互聯(lián)”，以實(shí)現(xiàn)信息的傳遞和處理。

對于AI而言，物聯(lián)網(wǎng)肩負(fù)了一個(gè)至關(guān)重要的任務(wù)：內(nèi)外部環(huán)境信息獲取后，產(chǎn)生海量的數(shù)據(jù)，上傳至云端或者邊緣節(jié)點(diǎn)，為感知、云計(jì)算、控制、認(rèn)知提供源源不斷的信息供給。

AI構(gòu)建了一個(gè)大腦，憑借其算法與行業(yè)規(guī)則引擎，形成“邏輯”、“想法”、“指令”、“調(diào)優(yōu)”能力；AI 算法的“智能”只能通過不斷分析、數(shù)據(jù)驗(yàn)證、調(diào)參、改進(jìn)算法模型才會變得“聰明”。

IoT則相當(dāng)于大腦之外的神經(jīng)網(wǎng)絡(luò)，既能搜集數(shù)據(jù)，也能傳遞反饋信息，IoT一旦內(nèi)嵌AI，IoT由連接變成分析、邏輯、推理與智能，懂得外在環(huán)境和應(yīng)用場景的交互，具備自感知、自改進(jìn)，從而自動高效應(yīng)用到產(chǎn)業(yè)，進(jìn)而提升生產(chǎn)效能，豐富用戶體驗(yàn)。

影響和滲透是雙向的，借助IoT，AI不再是科研和實(shí)驗(yàn)技術(shù)，AI+IoT可以滲透若干場景，落地到現(xiàn)實(shí)生活，借助來源豐富的數(shù)據(jù)不斷更新提升AI算法效能，讓AI更具生命力和活力。

可以說AI與IOT兩者形成一種奇妙的化學(xué)反應(yīng)，創(chuàng)造出更多科技創(chuàng)新應(yīng)用，簡單的IoT“互聯(lián)”上升到AIoT“智聯(lián)”程度，在可預(yù)見的未來，AIOT必將改變現(xiàn)有物聯(lián)網(wǎng)發(fā)展格局，顛覆既有市場形態(tài)、產(chǎn)品形式，服務(wù)模式，開啟全新的社會生產(chǎn)生活，形成經(jīng)濟(jì)發(fā)展新動能，推動新經(jīng)濟(jì)發(fā)展，進(jìn)一步改善生活體驗(yàn)。

經(jīng)歷IoT與AI的蓬勃發(fā)展，2018年之后的AIoT趨勢將更加快速的到來。比如在2018CES展上，出盡風(fēng)頭的日產(chǎn)汽車研發(fā)的“腦控車（Brain-to-Vehicle，簡稱B2V）”技術(shù)，將駕駛者的反應(yīng)更加快速地傳達(dá)給車輛，使車輛根據(jù)駕駛情況的變化不斷做出相應(yīng)的調(diào)整。

Google的智能語音助理Google Assistant整合進(jìn)來4億臺物聯(lián)設(shè)備，不僅控制各類智能家居設(shè)備，比如插座、電風(fēng)扇、電燈、時(shí)鐘收音機(jī)等，還將內(nèi)置Google車載系統(tǒng) Android Auto，開啟智能操控新時(shí)代等等。

IoT未來生活將無處不在。

AI芯片成突破支點(diǎn)

AI突破性發(fā)展需要技術(shù)基礎(chǔ)，也就是三駕馬車，分別是算法（Algorithms）、大數(shù)據(jù)（Big Data）、運(yùn)算能力（Compute Power）。近年來，AI的三駕馬車已經(jīng)取得長足發(fā)展。

1. 算法（Algorithms）變革與突破

從過去的神經(jīng)網(wǎng)絡(luò)開始，一直到近年的深度學(xué)習(xí)（Deep Learning），尤其是多層神經(jīng)網(wǎng)絡(luò)技術(shù)飛速發(fā)展，算法進(jìn)步讓看似不可能的運(yùn)算帶入認(rèn)知、擬人的學(xué)習(xí)推理領(lǐng)域。

早在2015年，微軟ResNet系統(tǒng)采用152層的神經(jīng)網(wǎng)絡(luò)架構(gòu)，讓計(jì)算機(jī)對影像進(jìn)行辨識并對物體開展檢測，錯(cuò)誤率降低到3.5%，正式超越人類的5.1%水平；吳恩達(dá)先后在谷歌x實(shí)驗(yàn)室采用了參數(shù)多達(dá)17億個(gè)的神經(jīng)網(wǎng)絡(luò)，在斯坦福大學(xué)做了更大的神經(jīng)網(wǎng)絡(luò)，采用參數(shù)多達(dá)112億個(gè)神經(jīng)網(wǎng)絡(luò)。

人工神經(jīng)元正在步步逼近人腦神經(jīng)元，多層架構(gòu)深度神經(jīng)網(wǎng)絡(luò)算法引起一陣風(fēng)潮，復(fù)雜AI的算法正在邁入超越人類認(rèn)知水平的時(shí)代。

2. 大數(shù)據(jù)（Big Data）數(shù)據(jù)庫領(lǐng)域

巨量數(shù)據(jù)/大數(shù)據(jù)（Big Data）伴隨光纖、移動寬帶網(wǎng)絡(luò)普及、電商、物聯(lián)網(wǎng)發(fā)展快速聚集，預(yù)計(jì)2020年全球數(shù)據(jù)量將超過40ZB，相對2010年增長到40倍，1ZB數(shù)據(jù)意味著大眾電視（FoxTV）熱門影集《24》連續(xù)播放1.25億年，可見數(shù)據(jù)爆炸超出想象;人們對數(shù)據(jù)結(jié)構(gòu)化的技術(shù)推陳出新，如NoSQL MongoDB等;通過良好的數(shù)據(jù)分類與標(biāo)注，搭配搜索引擎與算法，讓數(shù)據(jù)平臺快速找到海量數(shù)據(jù)背后的隱藏的規(guī)律信息。

3.運(yùn)算能力（Compute Power）

2012年微軟人工智能平臺辨識單個(gè)貓需要16000顆傳統(tǒng)CPU的運(yùn)算能力才能達(dá)成，但類似的工作，2016年采用繪圖芯片GPU大概只需要2顆。

就一個(gè)復(fù)雜棋局而言，AlphaGO第一代下一盤棋需要1920CPUs 和280GPUs，同時(shí)有64個(gè)搜索線程；Alpha第二代需要50個(gè)TPU（1個(gè)TPU算力大致相對于10個(gè)同級別GPU）；隨著AI算力的大幅提升，算力仍然是AI的最大成本，據(jù)統(tǒng)計(jì)，算力成本（包括底層的硬件，GPU/CPU/FPGA以及其他信號處理等半導(dǎo)體成本、能耗成本）占AI成本在70%左右，AlphaGo下一盤棋，其背后的服務(wù)器的總耗電量折算成電費(fèi)是3000美元; 計(jì)算的時(shí)大量耗熱，通過吹風(fēng)才能散熱。算法、數(shù)據(jù)庫基本可以實(shí)現(xiàn)平臺化、軟件化、工具化，邊際成本趨向?yàn)镺，決定AI普及的核心是算力和對應(yīng)的能耗。

將算力低成本化，是AI與IoT融合并落地到具體場景，加速AI滲透到社會各角度，使能行業(yè)發(fā)展的關(guān)鍵，也是AIoT智聯(lián)網(wǎng)規(guī)模發(fā)展的支點(diǎn)。其中，新出現(xiàn)的AI嵌入式芯片將FPGA發(fā)揮了主導(dǎo)作用。

AI爆發(fā)之前，嵌入式芯片在物聯(lián)網(wǎng)領(lǐng)域早已廣泛應(yīng)用，用于傳感與智能硬件，通常采用CPU進(jìn)行計(jì)算，CPU特點(diǎn)兼顧計(jì)算和控制，70%晶體管用來構(gòu)建Cache 還有一部分控制單元，芯片設(shè)計(jì)用來處理復(fù)雜邏輯和提高指令的執(zhí)行效率， CPU計(jì)算通用性強(qiáng)，適用于處理計(jì)算復(fù)雜度高業(yè)務(wù)、串行數(shù)據(jù)處理，但計(jì)算性能一般。提升CPU性能需要增加CPU核數(shù)、提高CPU頻率，或者修改CPU架構(gòu)增加計(jì)算單元FMA（fused multiply-add）個(gè)數(shù)實(shí)現(xiàn)，提升算力同時(shí)也帶來了高計(jì)算成本與能耗。

隨著AI快速發(fā)展應(yīng)用，尤其是圖像處理數(shù)據(jù)量大，快速響應(yīng)，CPU不再是好的選擇。GPU芯片逐漸成為深度神經(jīng)網(wǎng)絡(luò)（DNN， Deep Neural Network）計(jì)算的主流。

GPU特點(diǎn)是能夠大幅精簡CPU Cache和邏輯控制單元，讓出大量的計(jì)算單元。有限的尺寸中的晶體管更多用于計(jì)算，圖形處理特點(diǎn)是算法本身復(fù)雜度低，計(jì)算強(qiáng)度高，數(shù)據(jù)之間相關(guān)性低特點(diǎn)，GPU通過簡單控制器，讓數(shù)千計(jì)算單位執(zhí)行相同程序，并行、流水化、高密度處理海量低關(guān)聯(lián)數(shù)據(jù)，大幅提升數(shù)據(jù)計(jì)算、吞吐能力。

GPU相對CPU更適合低層次大量重復(fù)運(yùn)算領(lǐng)域，例如AI語音、視頻、圖片識別以及海量數(shù)據(jù)處理領(lǐng)域，不論是CNN（卷積神經(jīng)網(wǎng)絡(luò)）、RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）、還是DNN（深度神經(jīng)網(wǎng)絡(luò)），通過高強(qiáng)度類似蒙卡特羅實(shí)驗(yàn)計(jì)算，找出最優(yōu)解，而無需復(fù)雜程度的運(yùn)算。

可以說GPU在AI算力上比CPU有了大幅提升，每秒每瓦所執(zhí)行的浮點(diǎn)運(yùn)算達(dá)到29G次數(shù)（29GFLOPS/W），是CPU的3倍多，能耗也隨著提升，散熱性與安全性成為問題。如下表1；這也一定程度說明了AI的能耗成為不能承受之重

隨著更多圖像、視頻和語音、物聯(lián)網(wǎng)等非結(jié)構(gòu)數(shù)據(jù)涌現(xiàn)，數(shù)據(jù)量繼續(xù)急劇增長，AI算法加速創(chuàng)新，不斷加深神經(jīng)網(wǎng)絡(luò)層次，參數(shù)數(shù)量不斷增多，模型算法復(fù)雜度持續(xù)提高，必然對計(jì)算帶寬、內(nèi)存帶寬和存儲要求越來越高，能耗成為很大問題。

更重要的是GPU內(nèi)部架構(gòu)通用，很難針對某個(gè)領(lǐng)域進(jìn)行特殊優(yōu)化，日新月異的物聯(lián)、傳感與AI行業(yè)應(yīng)用要求芯片能夠處理新類型的計(jì)算任務(wù);在GPU之外如果沒有新的嵌入式芯片選擇，AI無法隨著IoT大規(guī)模落地到具體應(yīng)用場景，無法與實(shí)體經(jīng)濟(jì)，生產(chǎn)生活緊密結(jié)合。

不同于GPU的運(yùn)行原理，F(xiàn)PGA是以門電路直接進(jìn)行運(yùn)算，硬件描述語言在執(zhí)行時(shí)會被翻譯成電路，也就是FPGA不采用指令和軟件，是軟硬件合一的器件。對FPGA進(jìn)行編程僅僅使用硬件描述語言即可，硬件描述語言描述的邏輯可以直接被編譯為晶體管電路的組合。所以FPGA實(shí)際上直接用晶體管電路實(shí)現(xiàn)用戶的算法，沒有通過指令系統(tǒng)的翻譯。

在運(yùn)算速度上，F(xiàn)PGA由于算法是定制的，所以沒有CPU和GPU的取指令和指令譯碼過程，數(shù)據(jù)流直接根據(jù)定制的算法進(jìn)行固定操作，計(jì)算單元在每個(gè)時(shí)鐘周期上都可以執(zhí)行，所以可以充分發(fā)揮浮點(diǎn)計(jì)算能力，計(jì)算效率高于CPU和GPU，具有很大優(yōu)勢。

在功耗上，由于FPGA低延遲、低功耗的特性，近年來，微軟、百度等公司在自家的數(shù)據(jù)中心里大量部署FPGA，百度在線上服務(wù)使用的FPGA版百度大腦，在同樣的性能下，其功耗是天河二號超級計(jì)算機(jī)的十分之一。

國內(nèi)的初創(chuàng)公司深鑒科技用FPGA搭建神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)方案（深度壓縮技術(shù)、FPGA專用編輯器以及專用處理架構(gòu)），在語音識別的場景，相同的處理量FPGA方案性能比GPU 高3倍，功耗降低3.5倍。FPGA功耗如上表1，F(xiàn)PGA功耗近CPU的1/10，CPU的1/5。

在應(yīng)用場景上，F(xiàn)PGA的低功耗、高性能非常適合無源的物聯(lián)網(wǎng)應(yīng)用與具體產(chǎn)品，比如深圳初創(chuàng)公司零度智控推出的無人機(jī)產(chǎn)品，采用基于FPGA神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)技術(shù)，能夠?qū)崿F(xiàn)物體以及行人的檢測和實(shí)時(shí)跟蹤拍攝、手勢識別、人臉識別、安防監(jiān)控等功能。

可以說，F(xiàn)PGA芯片技術(shù)出現(xiàn)，在提升運(yùn)算效率的同時(shí)，降低了功耗，增加了特定場景應(yīng)用的適用性。FPGA芯片為推動AIOT落地社會各個(gè)角度，使能行業(yè)發(fā)展，推動企業(yè)邁向物聯(lián)化、智能化，為經(jīng)濟(jì)發(fā)展新動能提供了支點(diǎn)。