Yann LeCun今天在采訪(fǎng)中確認(rèn)Facebook正在自研AI芯片，追求更高能效，以支持其AI應(yīng)用。Facebook也在尋找新的神經(jīng)網(wǎng)絡(luò)架構(gòu)，大力投入于“自我監(jiān)督”系統(tǒng)，致力于賦予機(jī)器“常識(shí)”。

人工智能研究的進(jìn)展將與硬件創(chuàng)新密切相關(guān)。

今天，在2019國(guó)際固態(tài)電路研討會(huì)(ISSCC)的主旨演講中，F(xiàn)acebook首席AI科學(xué)家Yann LeCun闡述了深度學(xué)習(xí)研究的進(jìn)展將如何影響未來(lái)的硬件架構(gòu)。他的論文題為《深度學(xué)習(xí)硬件：過(guò)去、現(xiàn)在和未來(lái)》(Deep Learning Hardware: Past, Present, and Future)。

并且，LeCun公開(kāi)確認(rèn)Facebook正在自研AI芯片，這是Facebook首次發(fā)表官方評(píng)論，證實(shí)了其在芯片領(lǐng)域的雄心。

LeCun表示，對(duì)DL專(zhuān)用硬件的需求會(huì)不斷增加。動(dòng)態(tài)網(wǎng)絡(luò)、關(guān)聯(lián)存儲(chǔ)器結(jié)構(gòu)以及稀疏激活等新的體系結(jié)構(gòu)概念將影響未來(lái)需求的硬件體系結(jié)構(gòu)類(lèi)型。

“這可能要求我們重新發(fā)明電路中運(yùn)算的方式，”LeCun說(shuō)。今天的計(jì)算機(jī)芯片通常沒(méi)有針對(duì)深度學(xué)習(xí)進(jìn)行優(yōu)化，即使使用不太精確的計(jì)算，深度學(xué)習(xí)也可以有效?！耙虼耍芯咳藛T正在嘗試設(shè)計(jì)一種新的方式來(lái)更有效地表示數(shù)字?！?/p>

推進(jìn)AI領(lǐng)域的一個(gè)關(guān)鍵因素，尤其是在深度學(xué)習(xí)方面，將是確保有能夠支持它的硬件。

這是LeCun演講中的一個(gè)重要議題，他在會(huì)上討論了一份新的研究報(bào)告，概述了未來(lái)5到10年芯片廠(chǎng)商和研究人員需要關(guān)注的關(guān)鍵趨勢(shì)。

他說(shuō)：“無(wú)論他們建造的是什么，都將影響未來(lái)十年AI的發(fā)展。”

在會(huì)議開(kāi)始之前，LeCun與Business Insider就AI領(lǐng)域的發(fā)展方向、它對(duì)我們?nèi)粘Ｉ钪惺褂玫脑O(shè)備的意義、人工智能的現(xiàn)狀以及未來(lái)面臨的最大挑戰(zhàn)進(jìn)行了討論。以下是采訪(fǎng)的要點(diǎn)。

為了改善AI性能，機(jī)器必須在能耗方面做得更好

想象有這樣一個(gè)真空吸塵器，它不僅聰明到可以為你的起居室繪制地圖，以便不會(huì)重復(fù)清潔同一個(gè)地方，它還能在撞到障礙物之前檢測(cè)到它們。

或者想象有這樣一臺(tái)智能割草機(jī)，它可以在修剪草坪時(shí)智能地避開(kāi)花壇和樹(shù)枝。

LeCun說(shuō)，這樣的小設(shè)備要想實(shí)現(xiàn)、并流行起來(lái)，除了Facebook、Alphabet等正在投資的技術(shù)，如增強(qiáng)現(xiàn)實(shí)和自動(dòng)駕駛技術(shù)，還需要有更節(jié)能的硬件。

更節(jié)能的硬件不僅對(duì)這類(lèi)技術(shù)的蓬勃發(fā)展是必要的，而且對(duì)改善Facebook等公司實(shí)時(shí)識(shí)別照片和視頻內(nèi)容的方式也是必要的。LeCun說(shuō)，要理解視頻中發(fā)生的事情，將活動(dòng)轉(zhuǎn)錄成文本，然后將文本翻譯成另一種語(yǔ)言，以便世界各地的人們能夠?qū)崟r(shí)地理解，需要“巨大”的計(jì)算能力。

Facebook 希望使用AI來(lái)幫助審核內(nèi)容

短期內(nèi)AI將繼續(xù)在智能手機(jī)中得到改進(jìn)

LeCun認(rèn)為，未來(lái)3年內(nèi)，大多數(shù)智能手機(jī)將通過(guò)專(zhuān)用處理器將AI直接內(nèi)置到硬件中，這將使實(shí)時(shí)語(yǔ)音翻譯等功能在手機(jī)上更為普遍。

對(duì)于那些近年來(lái)一直密切關(guān)注智能手機(jī)行業(yè)的人來(lái)說(shuō)，這可能并不意外，因?yàn)樘O(píng)果、谷歌、華為等公司已經(jīng)將AI更緊密地整合到自己的移動(dòng)設(shè)備中， LeCun 表示，這將使“各種新應(yīng)用”成為可能。

賦予機(jī)器“常識(shí)”將是未來(lái)10年AI研究的一大重點(diǎn)

雖然人類(lèi)通常通過(guò)一般觀(guān)察(general observations)來(lái)了解世界，但計(jì)算機(jī)通常被訓(xùn)練來(lái)執(zhí)行特定的任務(wù)。舉例來(lái)說(shuō)，如果你想設(shè)計(jì)一種能夠檢測(cè)照片中的貓的算法，你必須幫助它了解貓的樣子，方法是提供給它一個(gè)巨大的數(shù)據(jù)集，其中可能包括數(shù)千張標(biāo)記有貓的照片。

但LeCun認(rèn)為，未來(lái)十年，推動(dòng)AI前進(jìn)的圣杯在于完善一種稱(chēng)為自監(jiān)督學(xué)習(xí)(self-supervised learning)的技術(shù)。換句話(huà)說(shuō)，使機(jī)器能夠通過(guò)數(shù)據(jù)了解世界是如何運(yùn)轉(zhuǎn)的，而不僅僅是學(xué)習(xí)如何解決一個(gè)特定的問(wèn)題——比如識(shí)別貓。

LeCun表示：“如果我們真的訓(xùn)練(算法)做到這一點(diǎn)，那么機(jī)器捕捉上下文并做出更復(fù)雜決策的能力將會(huì)取得重大進(jìn)展?！彼a(bǔ)充說(shuō)，這樣的技術(shù)目前只對(duì)文本有效，對(duì)視頻和圖像仍然無(wú)效。

這樣的突破可能是Facebook等公司需要的，用以改進(jìn)其平臺(tái)上的內(nèi)容審核，盡管現(xiàn)在還不知道這樣的解決方案何時(shí)會(huì)出現(xiàn)。LeCun說(shuō)：“這不是一蹴而就的事情?！?/p>

Facebook加入AI芯片競(jìng)賽，自研ASIC

Facebook認(rèn)識(shí)到，要想在A(yíng)I領(lǐng)域?qū)崿F(xiàn)下一個(gè)突破，它需要大大提高計(jì)算速度。目前，F(xiàn)acebook已經(jīng)加入與亞馬遜和谷歌的競(jìng)爭(zhēng)，開(kāi)發(fā)自己的AI芯片。

LeCun 在接受英國(guó) 《金融時(shí)報(bào)》 采訪(fǎng)時(shí)表示，F(xiàn)acebook 希望與多家芯片公司合作開(kāi)發(fā)新的芯片設(shè)計(jì)——最近宣布了與英特爾合作開(kāi)展項(xiàng)目——但他也表示，F(xiàn)acebook正在開(kāi)發(fā)自己的定制 “ASIC” 芯片，以支持其AI程序。

LeCun說(shuō)：“眾所周知，F(xiàn)acebook會(huì)在需要時(shí)構(gòu)建自己的硬件——例如，構(gòu)建自己的ASIC。遇到任何障礙，我們都將全力以赴?！边@是Facebook首次發(fā)表官方評(píng)論，證實(shí)了其在芯片領(lǐng)域的雄心。

談到公司在芯片方面取得突破的機(jī)會(huì)時(shí)，LeCun補(bǔ)充說(shuō)：“底層肯定有很大的空間?！?/p>

Facebook自研芯片的決定，對(duì)英偉達(dá)也構(gòu)成了又一個(gè)長(zhǎng)期挑戰(zhàn)。英偉達(dá)是目前用于數(shù)據(jù)中心AI的圖形處理器的主要生產(chǎn)商。由于大型數(shù)據(jù)中心客戶(hù)離開(kāi)，英偉達(dá)正面臨短期困境。

現(xiàn)在，更大的需求是更專(zhuān)業(yè)的AI芯片，其設(shè)計(jì)旨在以閃電般的速度、更低的功耗執(zhí)行單一任務(wù)，而不是過(guò)去的通用處理器。這種需求不僅吸引了谷歌、亞馬遜、蘋(píng)果等公司的投資浪潮，也吸引了幾十家初創(chuàng)企業(yè)。

對(duì)新的芯片設(shè)計(jì)和硬件架構(gòu)的關(guān)注表明，需要在基礎(chǔ)計(jì)算方面取得根本性突破，以防止今天的AI成為一個(gè)死胡同。

LeCun 表示，縱觀(guān)AI的歷史，在研究人員提出讓該領(lǐng)域得到突破的洞見(jiàn)之前，它往往已經(jīng)在硬件方面取得了很大的進(jìn)步。

“在相當(dāng)長(zhǎng)的一段時(shí)間里，人們沒(méi)有想到相當(dāng)明顯的想法，”他說(shuō)，這阻礙了人工智能的發(fā)展。其中就包括反向傳播，這是當(dāng)今深度學(xué)習(xí)系統(tǒng)的一項(xiàng)核心技術(shù)，算法可以通過(guò)反向傳播來(lái)減少錯(cuò)誤。 LeCun 表示，這顯然是對(duì)早期研究的延伸，但直到上世紀(jì)90年代計(jì)算機(jī)硬件發(fā)展后，這一技術(shù)才得到廣泛應(yīng)用。

Facebook過(guò)去也曾設(shè)計(jì)過(guò)其他類(lèi)型的硬件，例如，在將數(shù)據(jù)中心設(shè)備開(kāi)源供他人使用之前，為這些設(shè)備提出一些新想法。 LeCun 表示，同樣的方法也將適用于芯片設(shè)計(jì)。他補(bǔ)充說(shuō)：“我們的目標(biāo)是將其送走?！?/p>

重新設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)，模仿更多人類(lèi)智能

Facebook還將研究重點(diǎn)放在神經(jīng)網(wǎng)絡(luò)的新設(shè)計(jì)上。神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)系統(tǒng)的核心，是圖像和語(yǔ)言識(shí)別等領(lǐng)域最近進(jìn)展的基礎(chǔ)。

30年前，LeCun在 AT＆T 貝爾實(shí)驗(yàn)室研究AI芯片時(shí)，構(gòu)建了第一個(gè)“卷積”神經(jīng)網(wǎng)絡(luò)，這是目前深度學(xué)習(xí)系統(tǒng)常用的神經(jīng)網(wǎng)絡(luò)。

LeCun 表示，F(xiàn)acebook正致力于“一切可以降低功耗(并)改善延遲的事情”，以加快處理速度。但他補(bǔ)充說(shuō)，實(shí)時(shí)監(jiān)控視頻帶來(lái)的巨大需求，將需要新的神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)。

Facebook也在尋找新的神經(jīng)網(wǎng)絡(luò)架構(gòu)，以模仿人類(lèi)智能的更多方面，并使系統(tǒng)更自然地進(jìn)行交互。

LeCun說(shuō)，F(xiàn)acebook正大力投入于“自我監(jiān)督”系統(tǒng)，這種系統(tǒng)能夠?qū)χ車(chē)氖澜缱龀龈鼜V泛的預(yù)測(cè)，而不僅僅是得出直接與它們所接受的數(shù)據(jù)相關(guān)的結(jié)論。這可以使它們對(duì)世界產(chǎn)生同樣廣泛的理解，從而使人類(lèi)能夠應(yīng)對(duì)新的情況。

“就新用途而言，F(xiàn)acebook感興趣的一件事是開(kāi)發(fā)智能數(shù)字助理——具有一定程度的常識(shí)的智能助理，”他說(shuō)。“它們擁有背景知識(shí)，你可以和它們就任何話(huà)題進(jìn)行討論。”

向計(jì)算機(jī)灌輸常識(shí)的想法還處于非常早期的階段，LeCun表示，這種更深層次的智能“不會(huì)很快發(fā)生”。

他說(shuō)：“能夠在不確定性下進(jìn)行預(yù)測(cè)是當(dāng)今的主要挑戰(zhàn)之一?！?/p>

Facebook正在參與一項(xiàng)更廣泛的研究努力，旨在增強(qiáng)當(dāng)今的神經(jīng)網(wǎng)絡(luò)。在ISSCC研討會(huì)上，LeCun概述了這項(xiàng)工作。

其中，包括根據(jù)通過(guò)它們的數(shù)據(jù)調(diào)整其設(shè)計(jì)的網(wǎng)絡(luò)，使其在面對(duì)現(xiàn)實(shí)世界的變化時(shí)更加靈活。另一種研究方法是研究只“激活”解決特定問(wèn)題所需神經(jīng)元的網(wǎng)絡(luò)，這種方法與人類(lèi)大腦的運(yùn)作方式類(lèi)似，可以大大降低功耗。

研究工作還包括將計(jì)算機(jī)存儲(chǔ)添加到神經(jīng)網(wǎng)絡(luò)中，這樣當(dāng)與人“交談”時(shí)，神經(jīng)網(wǎng)絡(luò)就能記住更多的信息，并形成更強(qiáng)的語(yǔ)境感。

神經(jīng)網(wǎng)絡(luò)的進(jìn)步可能會(huì)對(duì)驅(qū)動(dòng)它們的芯片的設(shè)計(jì)產(chǎn)生連鎖反應(yīng)，這可能會(huì)為制造當(dāng)今領(lǐng)先AI芯片的公司帶來(lái)更多競(jìng)爭(zhēng)。

LeCun 表示，谷歌的TPU——最強(qiáng)大的機(jī)器學(xué)習(xí)數(shù)據(jù)中心芯片——“仍相當(dāng)通用”。但“它們做出的假設(shè)不一定適用于未來(lái)的神經(jīng)網(wǎng)絡(luò)架構(gòu)?！?/p>

另一方面，芯片設(shè)計(jì)的靈活性也有其他缺點(diǎn)。例如，微軟計(jì)劃在其所有數(shù)據(jù)中心服務(wù)器上安裝一種不同類(lèi)型的芯片，即FPGA(現(xiàn)場(chǎng)可編程門(mén)陣列)。這些芯片在使用方式上更加靈活，但在處理大量數(shù)據(jù)方面效率較低，這使它們與專(zhuān)為特定任務(wù)而優(yōu)化的芯片相比處于劣勢(shì)。