AI第三次浪潮革命是在算力激增的推動(dòng)下發(fā)生的。Jeff Dean說(shuō)我們需要超過(guò)現(xiàn)在100萬(wàn)倍的算力，成為企業(yè)面臨的重大挑戰(zhàn)。本文通過(guò)硬件基礎(chǔ)、軟件基礎(chǔ)以及優(yōu)化框架和應(yīng)用加速4個(gè)方面，為您起底百萬(wàn)倍算力挑戰(zhàn)。

AI這個(gè)詞，從第一次被創(chuàng)造出來(lái)至今，已經(jīng)經(jīng)歷了兩次浪潮。如今在算法、大數(shù)據(jù)、算力三大因素的驅(qū)動(dòng)下，AI發(fā)展迎來(lái)第三次浪潮。

谷歌AI負(fù)責(zé)人Jeff Dean說(shuō)：“事實(shí)證明，我們真正需要的是超過(guò)現(xiàn)在100萬(wàn)倍的計(jì)算能力，而不僅僅是幾十倍的增長(zhǎng)。”

算力為王的年代，企業(yè)需要滿足4個(gè)層次的需求：

硬件，一些計(jì)算平臺(tái)比如服務(wù)器、加速卡等。這是算力的物理根基，是滿足算力的第一步

軟件，構(gòu)建在硬件之上的開(kāi)發(fā)管理套件，提供整體解決方案，可以讓用戶無(wú)需掌握高深的AI知識(shí)，直接根據(jù)需要進(jìn)行開(kāi)發(fā)

優(yōu)化主流框架，針對(duì)硬件和管理套件進(jìn)行定制化，使得算力能夠更加快速穩(wěn)定

應(yīng)用加速，AI端到端的解決方案，將算力落地

這就給傳統(tǒng)企業(yè)帶來(lái)了前所未有的挑戰(zhàn)。一方面，越來(lái)越多的傳統(tǒng)企業(yè)需要盡快轉(zhuǎn)型AI；另一方面，傳統(tǒng)企業(yè)已經(jīng)無(wú)法應(yīng)對(duì)AI時(shí)代的算力挑戰(zhàn)。

提高整個(gè)AI計(jì)算系統(tǒng)的性能與效率迫在眉睫，而首當(dāng)其沖的，就是服務(wù)器和加速卡。

解決算力需求的硬件基礎(chǔ)：服務(wù)器和加速卡

企業(yè)的規(guī)模越大，數(shù)據(jù)的集中度就越高，對(duì)AI計(jì)算力的需求也就越高，對(duì)AI服務(wù)器的需求也就約旺盛。

根據(jù)國(guó)際調(diào)研公司（IDC）全球季度服務(wù)器跟蹤報(bào)告，2018年第三季度全球服務(wù)器市場(chǎng)，供應(yīng)商收入達(dá)234億美元（約1581億人民幣），同比增長(zhǎng)37.7％。全球服務(wù)器出貨量320萬(wàn)臺(tái)，同比增長(zhǎng)18.3％。

在全球服務(wù)器市場(chǎng)，排名前五的分別是：DELL EMC第一、HPE/New H3C Group第二、Inspur/Inspur Power第三、Lenovo第四、 IBM，Huawei和Cisco并列第五。

具體數(shù)據(jù)如下圖：

可以看到，在服務(wù)器市場(chǎng)TOP 5的7家廠商中，浪潮表現(xiàn)的最為亮眼，出貨量同比增長(zhǎng)90.2%，營(yíng)收增長(zhǎng)達(dá)增長(zhǎng)156.5%。

杭州的阿里，北京的京東、字節(jié)跳動(dòng)（今日頭條）、百度，深圳的騰訊，都對(duì)當(dāng)?shù)谹I計(jì)算力產(chǎn)生巨大的需求。

能夠勝任BAT算力要求的企業(yè)不多。在AI算力供應(yīng)商的問(wèn)題上，BAT紛紛選擇了浪潮。

浪潮能夠連續(xù)多年成為BAT最主要的AI服務(wù)器供應(yīng)商，靠的是不斷提升計(jì)算能力的AI服務(wù)器：

AI超級(jí)服務(wù)器AGX-5，單機(jī)配置16顆NVIDIA Tesla V100 Tensor Core 32GB GPUs，AI計(jì)算性能高達(dá)每秒2千萬(wàn)億次，可支持4倍超大規(guī)模深度神經(jīng)網(wǎng)絡(luò)模型，并將訓(xùn)練速度提高10倍。

AGX-2服務(wù)器，采用P100的Linpack浮點(diǎn)運(yùn)算性能達(dá)29.33TFLOPS，在2U空間內(nèi)支持部署8塊NVLink或PCI-E。在AI深度學(xué)習(xí)模型訓(xùn)練上，采用TensorFlow框架和GoogLeNet模型，AGX-2處理速度為每秒1165幅圖片。

智能視頻分析服務(wù)器NF5280M5-V，在2U空間內(nèi)配置8片NVIDIA TESLA P4 GPU，單臺(tái)服務(wù)器即可完成96路高清攝像頭視頻數(shù)據(jù)的解碼及結(jié)構(gòu)化實(shí)時(shí)處理需求。同時(shí)最大可提供96TB本地存儲(chǔ)空間，可將視頻處理數(shù)據(jù)的保存周期最高延長(zhǎng)至6個(gè)月。

彈性GPU服務(wù)器NF5468M5，專注于AI云。可同時(shí)處理300路以上1080p高清視頻結(jié)構(gòu)化，支持288TB大容量存儲(chǔ)或32TB固態(tài)存儲(chǔ)，實(shí)現(xiàn)高達(dá)400Gbps通信帶寬和1us的超低延遲。

這些服務(wù)器，同時(shí)也在為科大訊飛、商湯、曠視、字節(jié)跳動(dòng)、滴滴等AI領(lǐng)先公司，在語(yǔ)音、圖像、視頻、搜索、網(wǎng)絡(luò)等方面提供了算力支持。

除了AI服務(wù)器，浪潮還發(fā)布了全球首款集成HBM2高速緩存FPGA AI加速卡F37X，可在不到75W典型應(yīng)用功耗提供28.1TOPS的INT8計(jì)算性能和460GB/s的超高數(shù)據(jù)帶寬，實(shí)現(xiàn)高性能、高帶寬、低延遲、低功耗的AI計(jì)算加速。

有了AI服務(wù)器和加速卡，僅僅是解決了算力需求的第一步：硬件基礎(chǔ)設(shè)施。接下來(lái)，就需要管理套件的跟進(jìn)，實(shí)現(xiàn)軟件平臺(tái)基礎(chǔ)。

解決算力需求的軟件基礎(chǔ)：AI開(kāi)發(fā)平臺(tái)

解決了算力的硬件基礎(chǔ)，企業(yè)還需要解決快速構(gòu)建AI開(kāi)發(fā)平臺(tái)，進(jìn)行人工智能產(chǎn)業(yè)布局的難題。

這個(gè)時(shí)候，一套能夠?qū)崿F(xiàn)對(duì)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等基礎(chǔ)資源的管理和調(diào)度的完整解決方案就非常必要了。

浪潮升級(jí)了AI高效開(kāi)發(fā)管理平臺(tái)AIStation，致力于提供高效、易用的人工智能開(kāi)發(fā)平臺(tái)。

同時(shí)AIStation還集成了主流的AI開(kāi)源框架和深度學(xué)習(xí)模型，提供完整的AI開(kāi)發(fā)工作流服務(wù)。

除了AIStation外，浪潮還發(fā)布了OpenStack AI云平臺(tái)。

根據(jù)工信部華信研究院提供的數(shù)據(jù)顯示，2018年OpenStack占據(jù)私有云60%的市場(chǎng)。

OpenStack AI云平臺(tái)可幫助行業(yè)AI用戶快速便捷的構(gòu)建CPU+GPU的彈性異構(gòu)云環(huán)境，并實(shí)現(xiàn)對(duì)異構(gòu)計(jì)算資源池的動(dòng)態(tài)調(diào)度與分配，支撐數(shù)據(jù)管理、模型訓(xùn)練、模型部署等各類AI應(yīng)用場(chǎng)景。

通過(guò)對(duì)GPU虛擬機(jī)的支持，浪潮O(jiān)penStack AI云平臺(tái)能夠以多租戶的形式，按需分配異構(gòu)計(jì)算資源，從而實(shí)現(xiàn)AI敏捷開(kāi)發(fā)。

同時(shí)，多租戶任務(wù)排隊(duì)策略、資源分組優(yōu)化策略、租戶資源配額集均衡策略以及GPU共享策略等精細(xì)化調(diào)度策略，也進(jìn)一步提高了GPU資源的利用率。

有了管理套件后，接下來(lái)就應(yīng)該深入到更細(xì)節(jié)的框架優(yōu)化中了。

進(jìn)一步提升算力方法：框架優(yōu)化

要滿足算力的不斷提升，舊有的計(jì)算框架已經(jīng)無(wú)法滿足新的性能需求，需要不斷的進(jìn)行優(yōu)化。

目前使用比較廣的框架包括TensorFlow、PyTorch和Caffe。

TensorFlow是一款強(qiáng)大而成熟的深度學(xué)習(xí)框架，有強(qiáng)大的可視化性能，以及用于高水平模型開(kāi)發(fā)的多個(gè)選項(xiàng)。它具備生產(chǎn)就緒的部署選項(xiàng)，支持移動(dòng)平臺(tái)。

Caffe用來(lái)做計(jì)算機(jī)視覺(jué)，HPC和數(shù)值優(yōu)化的研究，加上產(chǎn)品線里的高效部署。

PyTorch用來(lái)做非常dynamic的研究加上對(duì)速度要求不高的產(chǎn)品。

對(duì)于企業(yè)來(lái)說(shuō)，由于TF和Caffe的高效部署選項(xiàng)，基于TF和Caffe的框架優(yōu)化就顯得更有意義。

浪潮針對(duì)TF和Caffe推出了Caffe-MPI， TensorFlow-Opt， FPGA計(jì)算加速引擎TF2等優(yōu)化方案。

Caffe-MPI

Caffe-MPI是全球首個(gè)集群并行版的Caffe深度學(xué)習(xí)計(jì)算開(kāi)源框架，針對(duì)高性能計(jì)算系統(tǒng)設(shè)計(jì)使之具備良好的并行擴(kuò)展性。

新版本在4節(jié)點(diǎn)16塊GPU卡集群系統(tǒng)上訓(xùn)練性能較單卡提升13倍，其每秒處理圖片數(shù)量是同配置集群運(yùn)行的TensorFlow 1.0的近2倍。

Caffe-MPI設(shè)計(jì)了兩層通信模式，非常適合現(xiàn)在的高密度GPU服務(wù)器。同時(shí)Caffe-MPI還設(shè)計(jì)實(shí)現(xiàn)了計(jì)算和通信的重疊，提供了更好的cuDNN兼容性，用戶可以無(wú)縫調(diào)用最新的cuDNN版本實(shí)現(xiàn)更大的性能提升。

TensorFlow-Opt

TensorFlow-Opt已完成了ResNet-50、ResNet-101和VGG16（batch size=128 & 256）等多個(gè)網(wǎng)絡(luò)模型的測(cè)試。

其中，在ResNet-50網(wǎng)絡(luò)模型下（單卡batchsize=256），512塊GPU每秒可訓(xùn)練128336張圖片，即訓(xùn)練完成一個(gè)完整的ImageNet數(shù)據(jù)集（128萬(wàn)張圖片）只需要約10秒時(shí)間，打破了AI訓(xùn)練性能世界紀(jì)錄。

FPGA計(jì)算加速引擎TF2

FPGA計(jì)算加速引擎TF2支持TensorFlow，可幫助AI客戶快速實(shí)現(xiàn)基于主流AI訓(xùn)練軟件和深度神經(jīng)網(wǎng)絡(luò)模型DNN的FPGA線上推理，并通過(guò)全球首創(chuàng)的FPGA上DNN的移位運(yùn)算技術(shù)獲得AI應(yīng)用的高性能和低延遲。

TF2計(jì)算加速引擎提高了FPGA上AI計(jì)算性能，降低了FPGA的AI軟件實(shí)現(xiàn)門(mén)檻，將支持FPGA廣泛應(yīng)用于AI生態(tài)推動(dòng)更多AI應(yīng)用落地。

經(jīng)過(guò)AI服務(wù)器提供算力的硬件基礎(chǔ)，管理套件提供軟件平臺(tái)基礎(chǔ)，優(yōu)化框架保證緊跟算力不斷增長(zhǎng)的需求，最后就是為應(yīng)用提供加速。

實(shí)現(xiàn)算力需求的落地應(yīng)用：案例解析

目前，浪潮在智能視頻分析、醫(yī)療影像、電力設(shè)備巡檢、金融匯率預(yù)測(cè)、語(yǔ)音識(shí)別、AI云等應(yīng)用中，已經(jīng)有了很多成功案例。

成功案例一：智能安防

視頻科技領(lǐng)域AI應(yīng)用的場(chǎng)景化非常分散，需要提煉應(yīng)用場(chǎng)景，根據(jù)應(yīng)用規(guī)模，在解決方案中按需靈活組合各種產(chǎn)品。

浪潮人工智能專家團(tuán)隊(duì)與大華合作建立了超強(qiáng)計(jì)算力為核心的計(jì)算平臺(tái)和計(jì)算集群?jiǎn)卧?/p>

在硬件上，使用AGX-2集群來(lái)處理視頻相關(guān)業(yè)務(wù)計(jì)算。在管理套件上，針對(duì)智能安防的應(yīng)用場(chǎng)景，定制開(kāi)發(fā)了AIstation管理平臺(tái)。

優(yōu)化后的AIStation平臺(tái)，可以秒級(jí)構(gòu)建AI環(huán)境，實(shí)現(xiàn)GPU資源智能調(diào)度，整體效率大幅提升，降低運(yùn)維成本。

目前大華股份與浪潮已經(jīng)在智慧城市、雪亮工程、平安城市等多個(gè)領(lǐng)域共同打造信息化聯(lián)合解決方案，共同促進(jìn)智能物聯(lián)網(wǎng)行業(yè)智能化、信息化轉(zhuǎn)型升級(jí)和跨域發(fā)展。

成功案例二：首鋼園落地項(xiàng)目

北京首鋼自動(dòng)化信息技術(shù)有限公司，采用了浪潮和百度聯(lián)合推出的ABC一體機(jī)3.0的鋼包質(zhì)檢解決方案后，10000張鋼材照片的整體缺陷識(shí)別分類準(zhǔn)確率達(dá)到99%以上，比人工專業(yè)檢測(cè)的準(zhǔn)確率更高。

成功案例三：語(yǔ)音識(shí)別一體機(jī)

浪潮與科大訊飛聯(lián)合發(fā)布了面向于語(yǔ)音識(shí)別、翻譯等AI應(yīng)用的16卡計(jì)算集群“AI Booster”，單套系統(tǒng)能夠?qū)崿F(xiàn)單精度240TFlops/s或Int8 752TFlops/s的計(jì)算性能。

雙方公布的實(shí)測(cè)數(shù)據(jù)顯示，在智能翻譯模型訓(xùn)練任務(wù)中，采用相同計(jì)算卡的“AI Booster”與傳統(tǒng)4卡服務(wù)器組成的16卡集群相比，AI計(jì)算加速比提升18%。

解決算力需求的長(zhǎng)期戰(zhàn)略：人才培養(yǎng)

除了技術(shù)問(wèn)題，傳統(tǒng)行業(yè)AI轉(zhuǎn)型還面臨AI人才的短缺。在培養(yǎng)人才問(wèn)題上，浪潮也在積極提供解決方案。

去年在AICC人工智能計(jì)算大會(huì)上開(kāi)辦集訓(xùn)營(yíng)，提供了現(xiàn)場(chǎng)動(dòng)手實(shí)踐的課程。

打比賽也是一個(gè)很好的吸引大學(xué)生投入AI學(xué)習(xí)中的方式。世界三大超算競(jìng)賽之一的ASC，就是一個(gè)很好的例子。

目前ASC已經(jīng)吸引了超過(guò)7000名來(lái)自世界各地的選手，送出了近百萬(wàn)的獎(jiǎng)金。