《安創(chuàng)“芯”視野》第31期，邀請到Xilinx軟件和AI解決方案市場部高級經(jīng)理劉珊珊，她圍繞賽靈思最新推出的邊緣側(cè)智能視覺加速系統(tǒng)模塊及統(tǒng)一的Vitis軟件工具開發(fā)流程，為大家介紹如何快速打造低時(shí)延、低功耗、高吞吐的端到端智能視覺解決方案。

（以下是分享內(nèi)容整理）

大家好，我是來自賽靈思軟件AI解決方案市場部的劉姍姍，今天分享的主題是“自適應(yīng)計(jì)算助力智能安防快速升級”，主要包括以下四個(gè)部分：

自適應(yīng)計(jì)算改變世界

近年，隨著自動(dòng)駕駛和5G的興起，以及云計(jì)算和互聯(lián)網(wǎng)的發(fā)展，我們看到應(yīng)用市場正在經(jīng)歷著前所未有的需求變化。隨之而來也給前端的研發(fā)和產(chǎn)品設(shè)計(jì)工程師帶來了諸多問題，比如不斷演進(jìn)的AI算法和模型、持續(xù)增長的安全和保密需求以及不斷增加的傳感器類型和傳感器接口等等。就目前來看，這些需求引領(lǐng)的創(chuàng)新周期已經(jīng)遠(yuǎn)遠(yuǎn)超過了一個(gè)芯片設(shè)計(jì)的周期。為了應(yīng)對這樣的變化，賽靈思根據(jù)實(shí)際情況，將產(chǎn)品的適應(yīng)性和靈活性作為主要發(fā)力點(diǎn)，也因此受到了越來越多人的關(guān)注。

以往在談及FPGA的時(shí)候，大家可能還非常地陌生；但是近幾年，隨著AI和大數(shù)據(jù)技術(shù)以及它們相關(guān)應(yīng)用的蓬勃發(fā)展，我們再次提到FPGA的時(shí)候，相信很多人已經(jīng)有了一個(gè)粗淺概念。雖然在真正的工作中大家不一定會接觸并用到它，但是在特定領(lǐng)域進(jìn)行數(shù)據(jù)處理時(shí)，它將是一個(gè)非常重要的芯片，因?yàn)镕PGA帶來的正是這種強(qiáng)大的應(yīng)對變化的能力。與此對應(yīng)地，賽靈思的企業(yè)愿景也正是致力于打造靈活應(yīng)變、萬物智能的世界。因此，我首先與大家分享的是賽靈思如何通過賦能創(chuàng)新來幫助人們實(shí)現(xiàn)健康守護(hù)、實(shí)現(xiàn)高品質(zhì)的生活和探索宇宙的夢想。

在當(dāng)下席卷全球的新冠疫情中，賽靈思始終優(yōu)先來支持全球客戶進(jìn)行醫(yī)療設(shè)備的研發(fā)和生產(chǎn)。早在2020年1月，在武漢疫情最為嚴(yán)重的時(shí)期，賽靈思就開始支持邁瑞來開展病患智能轉(zhuǎn)運(yùn)監(jiān)護(hù)儀的大規(guī)模生產(chǎn)。在整個(gè)過程中，賽靈思投入了大量的物流和技術(shù)支持來幫助儀器的研發(fā)和投產(chǎn)，為醫(yī)護(hù)人員提供了更便捷、更高效的監(jiān)護(hù)設(shè)備，也為病患提供了生命保障。在醫(yī)療領(lǐng)域，很多耳熟能詳?shù)钠髽I(yè)包括外資的GE、飛利浦、西門子以及國內(nèi)的邁瑞、開立，聯(lián)影等企業(yè)都是賽靈思的客戶。

在汽車領(lǐng)域，賽靈思正在幫助全球很多合作伙伴不斷地提高多傳感器的數(shù)據(jù)處理能力，從而改善車輛的感知，提高車輛在道路行駛中的快速決策能力。截止到目前，賽靈思在全球汽車市場累計(jì)出貨量已經(jīng)達(dá)到了2億顆芯片，其中1/3用于自動(dòng)駕駛相關(guān)場景。從去年7月開始，國際社會掀起了新一輪星際探測熱潮。中國、美國、阿聯(lián)酋都分別向火星發(fā)射了太空探測器。而賽靈思也在其中發(fā)揮了非常重要的作用——它為毅力號火星車提供了核心的器件。毅力號火星車在火星表面的著陸導(dǎo)航、自動(dòng)駕駛以及相關(guān)的加速成像和掃描等任務(wù)，都是通過賽靈思的一些航空航天器件來實(shí)現(xiàn)的。

因?yàn)楠?dú)特的靈活性和適應(yīng)性使得賽靈思能夠服務(wù)來自全球60多個(gè)國家，超過60000+客戶來進(jìn)行云端到邊緣側(cè)的應(yīng)用部署。除了剛剛介紹的航空航天、汽車和醫(yī)療方面之外，賽靈思也賦能了其它領(lǐng)域。比如，在音視頻廣播方向，我們會去做一些與視頻編解碼以及信號質(zhì)量增強(qiáng)相關(guān)的任務(wù)；我們在存儲和網(wǎng)絡(luò)加速方面也有著非常優(yōu)異的表現(xiàn)，因?yàn)楝F(xiàn)在數(shù)據(jù)中心里大量的異構(gòu)計(jì)算高性能平臺都離不開FPGA；在工業(yè)和視覺方向，原來FPGA主要做一些工業(yè)控制，但現(xiàn)在已經(jīng)融入到機(jī)器視覺與機(jī)器人的相關(guān)應(yīng)用中去；通信領(lǐng)域，不管是在有線還是無線場景里，我們都會用到FPGA來做一些與信號處理和協(xié)議棧處理的相關(guān)任務(wù)。

為了更好地向我們的用戶提供自適應(yīng)提升的能力，賽靈思這些年里一直在不斷地加速轉(zhuǎn)型。從1985年我們發(fā)明了FPGA開始，賽靈思不斷延續(xù)FPGA的核心價(jià)值，把它打造成了可以滿足各種應(yīng)用需求的片上系統(tǒng)。比如隨著28納米和16納米制程的演進(jìn)，我們不斷推出了MPSoC、RFSoC，以及最新的7納米制程上的ACAP平臺。通過不斷努力，賽靈思研發(fā)出了更易于軟件編程的體系結(jié)構(gòu)，同時(shí)也為客戶提供了一些更為廣泛的部署方式。在傳統(tǒng)場景里，客戶采用賽靈思器件時(shí)都是把芯片集成到自己的系統(tǒng)里去。而從18年開始，我們不斷推出了像Alveo或是Kria SOM這種即插即用的加速卡和系統(tǒng)級模組，使得大家能夠直接從系統(tǒng)級開發(fā)去做相關(guān)應(yīng)用。此外，我們很多合作伙伴如阿里巴巴、AWS、Nimbix等云服務(wù)商會把FPGA作為一個(gè)云端服務(wù)提供給大家，即FaaS這樣的服務(wù)，從而使得更多的客戶能夠更輕松地訪問到這些靈活易用的資源。

在AI領(lǐng)域，賽靈思自適應(yīng)計(jì)算平臺所具有的domain specific architecture（特定領(lǐng)域架構(gòu)）可以滿足AI創(chuàng)新在速度方面的要求。目前，很多AI最新的神經(jīng)網(wǎng)絡(luò)正在日益涌現(xiàn)，那么，怎么樣能夠讓硬件處理平臺有效地加速最新的神經(jīng)網(wǎng)絡(luò)成為了一個(gè)很大的挑戰(zhàn)。賽靈思的MPSoC平臺可以妥善解決上述問題，它最大的優(yōu)勢是具備整體應(yīng)用的協(xié)同優(yōu)化能力。很多前端研發(fā)人員以及產(chǎn)品開發(fā)人員在實(shí)際應(yīng)用中都非常清楚地了解，在一個(gè)真實(shí)的智能器件或是解決方案里，我們除了需要做AI推理的任務(wù)外，還有大量的前處理和后處理工作，其中又包含了大量的數(shù)據(jù)交互和計(jì)算工作。如果通過板級的交互來進(jìn)行數(shù)據(jù)和數(shù)據(jù)之間的互通，這很容易導(dǎo)致一些系統(tǒng)級的性能瓶頸。因此，賽靈思把這些關(guān)鍵功能進(jìn)行硬件底層的優(yōu)化加速，再把它緊緊耦合在一個(gè)單芯片的方案中。這不僅能夠極大地提升整個(gè)系統(tǒng)的工作效率，并且降低了端到端的時(shí)延和整體的系統(tǒng)功耗。

智能安防解決方案關(guān)鍵能力及案例

根據(jù)自己的理解，我將廣泛的智能安防場景分為三類：第一個(gè)類是我們在城市里能夠見到的與安防相關(guān)的一些解決方案或系統(tǒng)，比如我們非常熟悉的面向公安、交通、消防以及其它的政府應(yīng)急指揮部門為公共服務(wù)而建設(shè)的監(jiān)控系統(tǒng)。我們可以看到，所有的這種系統(tǒng)都有自己相互獨(dú)立的一套基礎(chǔ)設(shè)施和網(wǎng)絡(luò)，以保證它們在一些非常關(guān)鍵的時(shí)間對關(guān)鍵信息的調(diào)用和留存。比如，我們在道路上經(jīng)常見到的燈桿上的一排攝像頭就可能歸屬于不同的公共體系；樓宇和園區(qū)這類公共場所也有與人員和場所運(yùn)營服務(wù)相關(guān)的一些智能化系統(tǒng)。而這些系統(tǒng)里其實(shí)都分布著大量的攝像頭。其中，有的是傳統(tǒng)的模擬攝像頭，部署得比較早，數(shù)量比較多；有的是數(shù)字?jǐn)z像頭；有的則是近幾年最新建設(shè)的具有一些智能功能的智能攝像頭。而所有的攝像頭在這樣的安防系統(tǒng)里都充當(dāng)著一個(gè)信息采集員的角色。但是，如果所有的采集員都將本地采集到的信息上傳到云端或是存儲端，就會帶來非常大的數(shù)據(jù)傳輸壓力和存儲壓力。所以我們現(xiàn)在廣為采用的解決方案是先在前端把信息進(jìn)行預(yù)處理，再把提取到的關(guān)鍵信息比如一些結(jié)構(gòu)化數(shù)據(jù)傳輸?shù)皆贫耍詈筮M(jìn)行存儲或是分析、決策等等，以支持智慧城市這樣一個(gè)非常大的體系的正常運(yùn)轉(zhuǎn)。因此，我們在邊緣側(cè)就需要引入大量的智能處理能力。

而在行業(yè)級場景里，我們關(guān)注更多的是電力、能源，礦產(chǎn)這些相關(guān)行業(yè)。這些行業(yè)更加注重安防，因?yàn)檫@些行業(yè)場景里普遍存在著危險(xiǎn)因素，而且這些場景里的工作環(huán)境可能也比較惡劣，因此，對于我們解決方案的要求級別也非常高。比如，油井礦井生產(chǎn)系統(tǒng)的監(jiān)控光線和本身的工作環(huán)境都很差；一些電網(wǎng)自動(dòng)巡檢系統(tǒng)可能對我們的安防解決方案也有一些差異化的要求。

最后是消費(fèi)級場景。目前應(yīng)用最多的場景是人臉等生物特征識別的門鎖，其次是一些用來防范異常入侵和監(jiān)控老人小孩行為的小型家用攝像頭，以及家里水煤電氣的異常情況告警系統(tǒng)。

智能視覺方案常見處理流程

我們不難發(fā)現(xiàn)，無論是汽車的前視攝像頭還是安防的IP camera，甚至是特殊場景里特殊用途定制的智能攝像頭，它的基本處理流程都是相似的。首先，要有前端的圖像獲取模塊，以及對圖像進(jìn)行處理的模塊，比如前處理和后處理；接下來會進(jìn)入到與AI相關(guān)的推理模塊，比如做一些檢測、分類、分割等等，也會基于AI檢測的結(jié)果去做相應(yīng)的決策；同時(shí)，基于我們方案的需求，對它進(jìn)行顯示或者編碼傳輸。這種流程其實(shí)是我們現(xiàn)在在主流的視覺方案里比較常見的一種流程。

基于上述流程，賽靈思為這類應(yīng)用提供了一個(gè)全流程的應(yīng)用加速庫。比如，在視頻獲取、后處理以及顯示環(huán)節(jié)，我們的加速庫提供了豐富的接口IP，包括了大家常見的MIPI、HDMI、USB、SDI、DP等接口。這些非常豐富的接口IP庫能夠支持設(shè)備之間的互聯(lián)互通。同時(shí)，我們也給大家提供了視頻相關(guān)的編解碼處理能力，并且，在視頻的后處理和顯示方面也提供了VCU，實(shí)現(xiàn)視頻流的編解碼功能。

了解了視頻圖像的獲取以及后處理環(huán)節(jié)之后，我們來看看它的一些核心功能。一部分核心功能其實(shí)就是與視覺相關(guān)的library，就是我們剛剛略過的視頻前處理和后處理里的內(nèi)容。為什么要略過呢？因?yàn)槲液竺鏁龈敿?xì)的深入分析，現(xiàn)在我們先把它放一下。除此之外，另外一個(gè)重要的功能是用來做AI加速的一個(gè)DPU的核。這個(gè)DPU叫做deep learning process unit，是我們專門為大量的卷積網(wǎng)絡(luò)運(yùn)算提供的一個(gè)從底層硬件層面做好并加速的IP核。我們在這個(gè)核里已經(jīng)對現(xiàn)在主流的一些神經(jīng)網(wǎng)絡(luò)框架比如Caffe、TensorFlow、PyTorch等都做好了底層的優(yōu)化。我們大概有100多個(gè)優(yōu)化好的網(wǎng)絡(luò)正在GitHub上做開源，大家可以結(jié)合自己應(yīng)用需求，對它進(jìn)行重訓(xùn)和部署。在這里，我們也針對不同資源的器件給大家提供了8個(gè)不同大小型號的IP核——從512的到4096的，就是我們能夠用到的在FPGA上的邏輯資源。大小不一樣，提供的IP核也不一樣。綜上所述，我們做AI加速的核心之一就是DPU的這樣的一個(gè)加速IP。

下面來看圖像處理環(huán)節(jié)，因?yàn)檫@個(gè)環(huán)節(jié)往往更能體現(xiàn)FPGA的靈活性和方案的差異性。首先，我們來看前處理。前處理主要包含兩大塊任務(wù)：一個(gè)是ISP，一個(gè)是與AI相關(guān)的一些任務(wù)的前處理。我們先來看ISP環(huán)節(jié)。前端的sensor會將光信號變?yōu)殡娦盘枺@時(shí)我們會得到一種貝爾模式的數(shù)據(jù)，然后，我們需要把這個(gè)數(shù)據(jù)重建為肉眼可見的RGB格式圖像，并且對這個(gè)圖像進(jìn)行一系列的處理，以得到能夠滿足應(yīng)用要求的一個(gè)圖像。我們熟知的比如華為海思、RK、安霸等企業(yè)的安防解決方案里主要采用的SoC，通常是已經(jīng)具備了一些標(biāo)準(zhǔn)的ISP功能，比如把貝爾格式變成RGB格式、做降噪、做自動(dòng)曝光、做白平衡、做聚焦、以及做色彩校正等等。但是，需要強(qiáng)調(diào)的是一些特定的需求。比如，當(dāng)我們需要做黑光相機(jī)或者高速相機(jī)等這類在特定場景里有特定用途的差異化非常大、要求非常高的相機(jī)的時(shí)候，我們對ISP就會有更高的要求，就需要有更靈活的架構(gòu)來對ISP進(jìn)行定制。

在機(jī)器學(xué)習(xí)模型訓(xùn)練過程中，我們對于輸入數(shù)據(jù)會做一些特別的定義，比如說數(shù)據(jù)格式是什么樣的，RGB還是YUV？它的分辨率是怎么樣的？它的比特位寬是什么樣的？同時(shí)還有一些做正則化的要求。對于這些任務(wù)，賽靈思提供了經(jīng)過底層硬件層面加速的庫來滿足大家的個(gè)性化需求。在后處理環(huán)節(jié)，我們剛剛著重介紹了我們是采用DPU的IP核來做神經(jīng)網(wǎng)絡(luò)加速的，但是實(shí)際上在真實(shí)的任務(wù)中，除了用到這種神經(jīng)網(wǎng)絡(luò)加速之外，我們還會用到比如3D視覺、虛擬增強(qiáng)現(xiàn)實(shí)、路徑規(guī)劃、行為估計(jì)以及環(huán)視攝像頭的拼接和處理等等的一些計(jì)算機(jī)視覺方案。在這些方案里，大家用到的不僅僅是這種卷積加速還有其它的一些運(yùn)算方式，所以，我們往往會采用AI和CV混合的方案來解決實(shí)際的問題。總的來說，針對這樣的需求，除了DPU的能力之外，我們同樣提供了一個(gè)經(jīng)過硬件加速的CV Library來實(shí)現(xiàn)差異化的方案。這也是我們與傳統(tǒng)安防芯片功能不一樣的地方。

這是一款基于賽靈思MPSoC平臺開發(fā)的智能相機(jī)。它采用了ZU4芯片。大家可以看到，這個(gè)方案具有非常豐富的物理接口以及非常強(qiáng)大的圖像處理能力和AI能力。典型的接口就是我們所熟知的Mini DP、USB等接口。其中還提供了各種內(nèi)存方案，比如eMMC、DDR，內(nèi)置了一個(gè)視頻編解碼的內(nèi)核，可以實(shí)現(xiàn)4K60幀的實(shí)時(shí)編解碼能力。這款相機(jī)前面的感光和ISP是由我們的合作伙伴安森美開發(fā)的。整體來看，這款智能相機(jī)支持120幀的高清成像。從這個(gè)智能相機(jī)智能的角度來講，它具有超低延遲的特性。其實(shí)這個(gè)方案在FPGA內(nèi)是用了我們硬化的視頻編解碼的一個(gè)內(nèi)核去做的圖像編碼，所以，它在編碼的同時(shí)在并行做著一個(gè)任務(wù)。是什么呢？就是一些與AI相關(guān)的處理流程，包括MIPI接口進(jìn)來后的協(xié)議處理、resize前處理、目標(biāo)detection、結(jié)果輸出。在整個(gè)過程中，因?yàn)锳I和視頻編碼是并行發(fā)生的，所以在每一幀，從圖像獲取到編碼的整個(gè)流程需要70毫秒，但是我們的AI處理能力只用到40毫秒。所以，在這個(gè)方案里，我們整體的輸出并沒有因?yàn)樽鯝I分析而被延長。我剛剛提到這款智能相機(jī)的解決方案是用了一顆ZU4的芯片，與之匹配的是我們B3136的一顆DPU的內(nèi)核。它可以做到的實(shí)時(shí)處理能力是200幀每秒，但是在前端很多應(yīng)用場景里我們其實(shí)用不到200幀，所以，我們就可以把它作為一個(gè)邊緣計(jì)算盒子來做多路視頻，比如可以做4路視頻的實(shí)時(shí)處理和分析。

Kria SOM智能視覺開發(fā)平臺介紹

這個(gè)SOM也是基于MPSoC架構(gòu)的，剛剛提到的案例采用的是ZU4芯片，而這個(gè)SOM采用的是ZU5芯片——它的資源更豐富些。首先來給大家解釋為什么我們要做這樣一款模組。雖然這些年來賽靈思一直致力于不斷研發(fā)最新的靈活應(yīng)變的硬件架構(gòu)來實(shí)現(xiàn)賦能創(chuàng)新，但是我們客戶在使用賽靈思器件的時(shí)候確實(shí)還是存在一些從底層向上開發(fā)的不便。以前，客戶們需要將芯片集成到自己的系統(tǒng)中。這其中包含了大量的系統(tǒng)集成工作，而且還要去設(shè)計(jì)板子和做代工，等把這個(gè)板子調(diào)好之后才能在上面做應(yīng)用開發(fā)。所以，為了把這個(gè)創(chuàng)新流程縮短，讓大家能夠采用相對標(biāo)準(zhǔn)化的平臺來把靈活應(yīng)變能力擴(kuò)展到更廣泛的應(yīng)用里，我們一直在試圖尋找一種更為友好的部署方式。在18年，我們推出了一個(gè)在數(shù)據(jù)中心側(cè)可以即插即用的Alveo系列的加速卡。過去幾年里，我們的Alveo卡在金融、安全、高性能計(jì)算等等領(lǐng)域得到了非常好的應(yīng)用，并且發(fā)揮了非常重要的作用。于是，出于同樣的構(gòu)想，我們今年推出了一個(gè)在edge端也能夠即插即用的最小化的系統(tǒng)級模組，希望能夠在edge端支持更為廣泛的應(yīng)用需求，尤其是智能視覺方面的一些創(chuàng)新需求。

第二個(gè)原因是，賽靈思這些年在開發(fā)工具上也做了很多投入。為了讓我們的軟件和應(yīng)用開發(fā)人員能夠很容易地上手我們的自適應(yīng)計(jì)算平臺，而不用從最底層的RTL層面去做開發(fā)，我們推出了這款標(biāo)準(zhǔn)化的硬件平臺，希望大家可以在這個(gè)標(biāo)準(zhǔn)化硬件平臺上去做標(biāo)準(zhǔn)化的軟件設(shè)計(jì)流程以及各類已經(jīng)做好的加速應(yīng)用。當(dāng)然，這也是一個(gè)開箱即用的平臺，成本非常低。能夠讓更多的人以非常低的成本在各類應(yīng)用里感受到FPGA的這種靈活架構(gòu)是極具優(yōu)越性的。與此同時(shí)，這個(gè)平臺也是一個(gè)異構(gòu)平臺。它里面有四核ARM A53的應(yīng)用處理器、兩核R5的實(shí)時(shí)處理器、Mali的GPU、256K的邏輯單元。基于上面這些資源去與我們的DPU B3136的一顆內(nèi)核做匹配的話，它最大能夠?qū)崿F(xiàn)1.4 TOPS每秒的AI處理能力。這是什么概念呢？這表示我們對一些主流的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行相應(yīng)的優(yōu)化之后，基本上能夠做到實(shí)時(shí)或者準(zhǔn)實(shí)時(shí)的處理能力。在接口層面，這塊核心板提供了雙排240-Pin Connector，大家可以在上面去做一些非常豐富的擴(kuò)展。它最多可以支持15個(gè)camera，像常見接口的camera以及CMOS、CCD需求類型的camera都能支持。此外，它最高支持?jǐn)U展到40G的Ethernet，也包括了多個(gè)USB接口以及具備4GB的DDR4 存儲能力。可以說，我們所能想到的在邊緣側(cè)與AI推理相關(guān)的場景基本上都能夠滿足這樣的要求了。

這是一塊即插即用的系統(tǒng)級模組。我們?yōu)?a target="_blank">開發(fā)者提供的這個(gè)入門級開發(fā)套件可以讓沒有任何FPGA開發(fā)經(jīng)驗(yàn)的開發(fā)者在一小時(shí)之內(nèi)快速上手，讓一些與AI、智能相機(jī)、AI box等相關(guān)的應(yīng)用跑起來。怎么做到的呢？通過我們與賽靈思官方以及第三方合作伙伴一起合作開發(fā)出了一些已經(jīng)做好加速的應(yīng)用：Accelerated Applications。這些應(yīng)用都被我們放在了賽靈思官方網(wǎng)站上的應(yīng)用商城里。應(yīng)用商城里有一個(gè)Kria SOM專區(qū)，大家可以在這里找到我們基于這一款標(biāo)準(zhǔn)化的硬件平臺打造的若干標(biāo)準(zhǔn)化的一些應(yīng)用，且這些應(yīng)用已經(jīng)經(jīng)過了加速優(yōu)化。另外，我們已經(jīng)通過overlay的方式把這些應(yīng)用進(jìn)行了封裝，大家不需要在底層做任何的調(diào)試和部署，就可以直接把這個(gè)應(yīng)用丟進(jìn)去，就會通過非常簡單的命令行代碼讓它跑起來。我們的這塊板子就變成了一個(gè)智能相機(jī)或者是一個(gè)AI box。

其實(shí)，現(xiàn)在賽靈思原廠已經(jīng)做好了像smart camera這種model，它可以支持多種接口的輸入，具備多種前后處理功能以及最核心的AI推理能力，最終來對這個(gè)攝像頭做顯示或傳輸。對于以上所有功能，我們已經(jīng)在里面都封裝好了，只需要命令行語言去對它進(jìn)行調(diào)用即可。同時(shí)，這里面也帶有RelD功能的AI box和一些基于OpenCV的瑕疵檢測。我們的合作伙伴也對此做了非常多的貢獻(xiàn)。

其實(shí)，我們希望提供標(biāo)準(zhǔn)化的硬件和軟件開發(fā)流程，讓更多人能夠把很多廣泛應(yīng)用需求做出來并且貢獻(xiàn)出來。一方面，我們的客戶會根據(jù)自己的需求快速評估這樣的應(yīng)用和器件，可能在這上面還會去做一些進(jìn)一步優(yōu)化的工作；另一方面，我們也希望極具創(chuàng)新能力的開發(fā)伙伴能夠通過我們的官方平臺把自己做得非常好的一些加速應(yīng)用進(jìn)行對外發(fā)布和推廣。與此同時(shí)，我們也給大家提供了非常專業(yè)的數(shù)字版權(quán)證書的認(rèn)證和保護(hù)服務(wù)。通過這項(xiàng)服務(wù)，我們既可以保證大家的知識產(chǎn)權(quán)，也可以幫助大家在這個(gè)過程中通過各種各樣的方式比如使用時(shí)長或是license等來幫助大家把自己做好且加速的應(yīng)用商業(yè)化。

為了這樣一個(gè)標(biāo)準(zhǔn)化的硬件平臺，我們推出了標(biāo)準(zhǔn)化的軟件開發(fā)流程。首先，作為一個(gè)邊緣側(cè)的智能視覺加速的平臺，它可以支持基于yocto的Petalinux也可以支持ubuntu，極大地滿足了嵌入式開發(fā)工程師的需求。同時(shí)，通過這個(gè)統(tǒng)一的開發(fā)工具和平臺，我們的VITIS及VITIS AI可以為不同類型的開發(fā)者提供最適合的開發(fā)工具以及開發(fā)流程。

對于AI開發(fā)者而言，他可以完全不去顧及AI開發(fā)之外的所有其它流程，只用VITIS AI來定制化自己的神經(jīng)網(wǎng)絡(luò)模型的加速即可。其中，DPU實(shí)現(xiàn)了我們所需要的大部分主流神經(jīng)網(wǎng)絡(luò)框架的底層加速，所以，開發(fā)者只需要根據(jù)自己客制化的AI模型和DPU進(jìn)行相應(yīng)匹配，然后去做相應(yīng)的參數(shù)設(shè)置、型號匹配、模型優(yōu)化等流程，就可以得到一個(gè)能夠用于部署的網(wǎng)絡(luò)模型。因此，我們只需要去做神經(jīng)網(wǎng)絡(luò)相關(guān)的替換工作即可，這極大地降低了AI開發(fā)者使用MPSoC門檻。

對于軟件開發(fā)者而言，VITIS開放了大量的經(jīng)過優(yōu)化的軟件加速庫，軟件開發(fā)者只需要使用像C、C++、Open CL這種熟悉的開發(fā)語言以及開發(fā)環(huán)境來調(diào)用這些庫即可。除了DPU部分之外，我們就可以對它的前處理、后處理以及與它的視頻加速流水線相關(guān)的一些應(yīng)用做進(jìn)一步的定制化加速，從而得到高性能低延遲的一個(gè)視頻流解決方案。

對于硬件開發(fā)者而言，不管是使用VITIS還是使用VIVADO開發(fā)工具都可以更充分地發(fā)揮出FPGA架構(gòu)的靈活性以及我們整個(gè)片上系統(tǒng)的完備性。我們可以基于RTL的設(shè)計(jì)有針對性地對應(yīng)用的全流程進(jìn)行優(yōu)化。

賽靈思開發(fā)者計(jì)劃

賽靈思開發(fā)者計(jì)劃是一個(gè)面向全球硬件工程師、軟件工程師、算法工程師、系統(tǒng)工程師、學(xué)者、科研人員和學(xué)生推出的專項(xiàng)服務(wù)計(jì)劃。為了更好地完善賽靈思的生態(tài)，我們希望能夠引入一些最具突破性構(gòu)想的創(chuàng)新者和變革推動(dòng)者，賦能他們更便捷、更高效、更全面的自適應(yīng)計(jì)算服務(wù)，從而加速創(chuàng)新的發(fā)生。為此，我們打通了賽靈思內(nèi)部和外部很多資源，為大家提供了包括課程學(xué)習(xí)、項(xiàng)目開發(fā)、交流分享等內(nèi)容的一個(gè)自循環(huán)的小生態(tài)體系。在這個(gè)體系里，大家可以通過更多的途徑得到一些官方技術(shù)文檔教程、參加免費(fèi)培訓(xùn)、賽靈思的人才認(rèn)證計(jì)劃等。在這個(gè)過程中，我們也通過給大家提供免費(fèi)的license和免費(fèi)的硬件來鼓勵(lì)大家去做開發(fā)嘗試；同時(shí)，也通過我們的月度項(xiàng)目以及自適應(yīng)計(jì)算挑戰(zhàn)賽來去激勵(lì)大家做更多的自適應(yīng)計(jì)算方面的項(xiàng)目開發(fā)嘗試。此外，我們也打造了豐富的線上線下活動(dòng)與大家進(jìn)行交流分享。線上，我們有社區(qū)、應(yīng)用商城、開發(fā)者網(wǎng)站，所以不管是在個(gè)人層面還是企業(yè)小型創(chuàng)業(yè)項(xiàng)目層面，我們都給大家提供了一個(gè)全方位交流分享的機(jī)會；同時(shí)，也為大家量身定制了很多線下專屬活動(dòng)。

今天也借這個(gè)機(jī)會跟大家做一個(gè)小征集。一個(gè)是征集一些月度項(xiàng)目。如果大家有在賽靈思平臺上做出來的比較好的作品，我們希望能夠把這些作品征集過來，然后通過我們官方平臺進(jìn)行展示；同時(shí)，也會通過我們的一些技術(shù)專家資源幫助大家進(jìn)行進(jìn)一步的優(yōu)化，并通過我們的市場資源把它推向市場。所以，我們希望大家把自己做好的這些作品，比如一個(gè)早期的小demo，發(fā)布到開源的平臺上去，然后把這個(gè)demo視頻傳到第三方網(wǎng)站比如B站、優(yōu)酷視頻等等網(wǎng)站上。之后，你只要把這兩個(gè)鏈接發(fā)給賽靈思開發(fā)者計(jì)劃的郵箱即可，我們就會和你在線下做進(jìn)一步的溝通和交流。另外，我們希望征集更多的開發(fā)者計(jì)劃的志愿者幫助我們服務(wù)更廣泛的開發(fā)者群體。如果你是一個(gè)互聯(lián)網(wǎng)意見領(lǐng)袖，或者你在做自己的科技類自媒體，或者你是一個(gè)資深的FPGA發(fā)燒友，或者你是高校里科技相關(guān)社團(tuán)的非常活躍的小伙伴，我們非常歡迎你的加入。我們希望這樣的人能夠把自己周邊非常活躍的技術(shù)交流圈子介紹給我們，讓我們在其中投入相應(yīng)的市場資源，量身打造一些專屬活動(dòng)，從而為更廣泛的開發(fā)者朋友們提供更好的服務(wù)。所以，關(guān)于以上兩點(diǎn)，大家有什么想法都可以聯(lián)系我們。

以上就是我今天分享的內(nèi)容。謝謝大家。
? ? ? 責(zé)任編輯:tzh