Facebook AI 研究總監(jiān) Yann LeCun 近日在普林斯頓高等研究所進(jìn)行了一次演講，題為《深度學(xué)習(xí)認(rèn)識論》，重點討論了深度學(xué)習(xí)思想的早期歷史和動態(tài)，強(qiáng)調(diào)理論理解在深度學(xué)習(xí)研究中的重要意義。

更好的理論理解，將有助于深度學(xué)習(xí)研究的發(fā)展。

近日，F(xiàn)acebook AI 研究總監(jiān) Yann LeCun 在普林斯頓高等研究所進(jìn)行了一次演講，題為《深度學(xué)習(xí)認(rèn)識論》(The Epistemology of Deep Learning)，重點討論了深度學(xué)習(xí)思想的早期歷史和動態(tài)。

LeCun 認(rèn)為，深度學(xué)習(xí)在一定程度上是一門 “工程科學(xué)”，我們通過理論洞見、直覺、靈感和經(jīng)驗探索來創(chuàng)造新的工件。但是理解深度學(xué)習(xí)在一定程度上是 “物理科學(xué)”，需要理解這個工件的一般屬性。

科學(xué)和技術(shù)的歷史有很多技術(shù)工件先于理論理解的例子：透鏡的發(fā)明在光學(xué)理論之前，蒸汽機(jī)的發(fā)明在熱力學(xué)之前，飛機(jī)在空氣動力學(xué)之前，無線電通信再信息理論之前，可編程計算器在計算機(jī)科學(xué)之前。

LeCun 演講的兩個要點是：

(1) 經(jīng)驗主義是一種完全合適的研究方法，盡管它效率低下；

(2) 我們面臨的挑戰(zhàn)是為學(xué)習(xí)和智能開發(fā)一種理論，對應(yīng)于蒸汽機(jī)的熱力學(xué)理論。

有了理論基礎(chǔ)，即使只是概念上的基礎(chǔ)，也將大大加快該領(lǐng)域的研究進(jìn)展，但必須認(rèn)識到一般理論的實際影響有限。

深度學(xué)習(xí)：工程科學(xué)還是自然科學(xué)？

2017 年 Ali Rahimi 在 NIPS 的演講中批判深度學(xué)習(xí)是 “煉金術(shù)”（Alchemy），引起機(jī)器學(xué)習(xí)界大討論。當(dāng)時反駁他的代表、深度學(xué)習(xí)領(lǐng)軍人物 Yann LeCun 在自己的主頁上回應(yīng) Ali，說自己完全不同意 Ali 的說法。

LeCun 表示，那次大爭論很有意思，但他認(rèn)為 Ali Rahami 混淆了兩個概念，即 “煉金術(shù)” 和 “工程”。Ali 所指的 “煉金術(shù)” 實際上是工程學(xué)。

煉金術(shù) & 工程

工程科學(xué)是關(guān)于發(fā)明新工件 (new artifacts) 的，你有很多方法可以用來發(fā)明新東西。比如望遠(yuǎn)鏡、蒸汽機(jī)、電磁體、飛機(jī)、無線電等新發(fā)明，顯然有方法被用來創(chuàng)造它們。這是一種創(chuàng)造性的活動，其方法如創(chuàng)造、直覺、探測、實驗等等。如果我們對這些現(xiàn)象有一些理論上的理解，這些發(fā)明創(chuàng)造顯然能夠更加高效。

這與今天的神經(jīng)科學(xué)也有相似之處。神經(jīng)科學(xué)是關(guān)于發(fā)現(xiàn)、學(xué)習(xí)和解釋現(xiàn)象的，其方法如在控制條件下的可復(fù)現(xiàn)實驗、數(shù)學(xué)、統(tǒng)計學(xué)、系統(tǒng)性實驗等，同樣也由理論性、概念性和直覺理解所指導(dǎo)。

而理論往往是在發(fā)明之后構(gòu)建起來的，比如：透鏡的發(fā)明在光學(xué)理論之前，蒸汽機(jī)的發(fā)明在熱力學(xué)之前，飛機(jī)在空氣動力學(xué)之前，無線電通信再信息理論之前，可編程計算器在計算機(jī)科學(xué)之前。

如此，現(xiàn)代世界的種種神奇在人們完全理解它們之前就已經(jīng)被發(fā)明出來了。這和我們告訴學(xué)生的故事有些不同，我們會告訴他們?nèi)プ鰯?shù)學(xué)運(yùn)算，要理解所有的理論，只有這樣你才能利用那些理論去發(fā)明東西。但現(xiàn)實從來不是這樣。

來自大腦的啟發(fā)

上面這張 PPT 展示了深度學(xué)習(xí)的根源，即啟發(fā)了深度學(xué)習(xí)的一些理論。

McCulloch & Pitts (1943) : 二元神經(jīng)元網(wǎng)絡(luò)可以做邏輯運(yùn)算

Donald Hebt (1947) : Hebbian 發(fā)現(xiàn)突觸可塑性的基本機(jī)制（赫布理論）

Norbert Wiener (1948) ：控制論，最佳濾波器，反饋，自動生成，自動組織

Frank Rosenblatt (1957): 感知機(jī)

今天的 AI 大部分是監(jiān)督學(xué)習(xí)

其運(yùn)作方式是：向系統(tǒng)提供樣本以訓(xùn)練機(jī)器，而非直接編程。

當(dāng)輸出錯誤時，則調(diào)整參數(shù)。

這是模式識別的一個標(biāo)準(zhǔn)范式

從 1969 到 1985 年，是深度學(xué)習(xí)的第一個 “冬天”。當(dāng)時提出的多層網(wǎng)絡(luò)并不學(xué)習(xí)，原因包括使用了錯誤的 “神經(jīng)元”，而二元神經(jīng)元阻礙了人們往 gradient-based 的方法去想。

不過到 80 年代早期，出現(xiàn)了神經(jīng)網(wǎng)絡(luò)的第二次熱潮。當(dāng)時提出了 Hopfield nets、玻爾茲曼機(jī)。到 1985/86 年，反向傳播 (Backprop) 出現(xiàn)了，深度學(xué)習(xí)迎來轉(zhuǎn)機(jī)。

來自生物學(xué)的啟發(fā)

深度學(xué)習(xí)為什么需要理論

理論是好東西，因為它使得實驗有效。

理論允許我們修補(bǔ)、完善經(jīng)驗。一些理論甚至能讓我們預(yù)測現(xiàn)象。

多層神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)

卷積網(wǎng)絡(luò)啟發(fā)自視覺皮層

卷積網(wǎng)絡(luò)能夠識別多個物體

其中，所有層都是卷積的，神經(jīng)網(wǎng)絡(luò)同時進(jìn)行分割和識別。

80、90 年代時的神經(jīng)網(wǎng)絡(luò)硬件

深度學(xué)習(xí)的第二個冬天

1996~2006 年的 10 年間，是神經(jīng)網(wǎng)絡(luò)的第二個冬天。這期間，很少有團(tuán)隊能夠訓(xùn)練大型神經(jīng)網(wǎng)絡(luò)。

原因有很多

硬件在浮點計算方面很慢

數(shù)據(jù)稀缺，數(shù)據(jù)成本昂貴，而神經(jīng)網(wǎng)絡(luò)是數(shù)據(jù)饑渴性的

交互式的軟件工具必須從頭開始構(gòu)建

在互聯(lián)網(wǎng)時代之前，開源并不常見

學(xué)習(xí)理論

理論可能會限制我們的創(chuàng)造性思維