近年來，作為人工智能領(lǐng)域最重要的進(jìn)展--深度學(xué)習(xí)(Deep Learning)，在諸多領(lǐng)域都有很多驚人的表現(xiàn)。早在2013年，深度學(xué)習(xí)就被麻省理工學(xué)院的《MIT科技評論》(MIT Technology Review)評為世界10大突破性技術(shù)之一。

另一個(gè)更具有劃時(shí)代意義的案例是，2016年3月，圍棋世界頂級棋手李世石九段，以1∶4不敵谷歌公司研發(fā)的阿爾法圍棋（AlphaGo，亦稱阿爾法狗），這標(biāo)志著人工智能在圍棋領(lǐng)域已經(jīng)開始“碾壓”人類。在2016年年末至2017年年初，AlphaGo的升級版Master（大師）又在圍棋快棋對決中，以60場連勝橫掃中日韓頂尖職業(yè)高手，一時(shí)震驚四野。

深度學(xué)習(xí)不僅是一種算法的升級，還是一種全新的思維方式。我們完全可以利用深度學(xué)習(xí)，通過對海量數(shù)據(jù)的快速處理，消除信息的不確定性，從而幫助我們認(rèn)知世界。它帶來的顛覆性在于，將人類過去癡迷的算法問題，演變成數(shù)據(jù)和計(jì)算問題。在以前，“算法為核心競爭力”正在轉(zhuǎn)變?yōu)椤皵?shù)據(jù)為核心競爭力”。

我們知道，深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究，所以說到深度學(xué)習(xí)，就不能不提神經(jīng)網(wǎng)絡(luò)。自20世紀(jì)80年代起，人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeural Network，ANN)開始興起，而且在很長一段時(shí)間內(nèi)都是人工智能領(lǐng)域的研究熱點(diǎn)。

有關(guān)神經(jīng)網(wǎng)絡(luò)的定義有很多。這里我們給出芬蘭計(jì)算機(jī)科學(xué)家托伊沃·科霍寧(Teuvo Kohonen)的定義（他以提出“自組織神經(jīng)網(wǎng)絡(luò)”而名揚(yáng)人工智能領(lǐng)域）：“神經(jīng)網(wǎng)絡(luò)是一種由具有自適應(yīng)性的簡單單元構(gòu)成的廣泛并行互聯(lián)的網(wǎng)絡(luò)，它的組織結(jié)構(gòu)能夠模擬生物神經(jīng)系統(tǒng)對真實(shí)世界所做出的交互反應(yīng)。

人工神經(jīng)網(wǎng)絡(luò)是受到生物神經(jīng)網(wǎng)絡(luò)的啟發(fā)而來，在生物神經(jīng)網(wǎng)絡(luò)中，人類大腦通過增強(qiáng)或者弱化突觸進(jìn)行學(xué)習(xí)的方式，最終會形成一個(gè)復(fù)雜的網(wǎng)絡(luò)，形成一個(gè)分布式特征表示(Distributed Representation)。

1. 生物神經(jīng)元簡介

生物神經(jīng)網(wǎng)絡(luò)中的最基本元素就是神經(jīng)元(Neuron)。神經(jīng)元，一般包括神經(jīng)細(xì)胞體(Soma)、樹突(Dendrites)、軸突(Axon)和突觸(Synapse)4部分.神經(jīng)元是大腦的基本計(jì)算單元。人類的神經(jīng)系統(tǒng)有大約86億個(gè)神經(jīng)元，由神經(jīng)突觸連接在一起。在生物神經(jīng)網(wǎng)絡(luò)中，每個(gè)神經(jīng)元與其他神經(jīng)元通過突觸進(jìn)行連接。神經(jīng)元之間的信息傳遞，屬于化學(xué)物質(zhì)的傳遞。當(dāng)它“興奮”時(shí)，就會向與它相連的神經(jīng)元發(fā)送化學(xué)物質(zhì)（神經(jīng)遞質(zhì)，Neurotransmitter），從而改變這些神經(jīng)元的電位。如果某些神經(jīng)元的電位超過了一個(gè)閾值，那么，它就會被“激活”，也就是“興奮”起來，接著向其他神經(jīng)元發(fā)送化學(xué)物質(zhì)，猶如漣漪，就這樣一層接著一層傳播。

1）神經(jīng)元的信息傳遞機(jī)理

在神經(jīng)元中，突觸承載神經(jīng)沖動(dòng)信息傳導(dǎo)功能，樹突和細(xì)胞體為輸入接口，接受突觸點(diǎn)的輸入信號；細(xì)胞體類似于一個(gè)微處理器，對各樹突和細(xì)胞體各部位獲取的來自其他神經(jīng)元的輸入信息進(jìn)行組合，并在一定條件下觸發(fā)，形成神經(jīng)沖動(dòng)輸出信號；輸出信號沿軸突傳至軸突末梢，軸突末梢作為輸出端，通過突觸將這一輸出信號傳向其他神經(jīng)元的樹突和細(xì)胞體。下面對神經(jīng)元之間信息的產(chǎn)生、傳遞和整合進(jìn)行闡述。研究表明，神經(jīng)元之間信息的產(chǎn)生、傳遞和整合是一種電化學(xué)活動(dòng)。由于細(xì)胞膜本身對不同離子具有不同的通透性，所以使膜內(nèi)外細(xì)胞液中的離子存在濃度差。神經(jīng)元在無神經(jīng)信號輸入時(shí)，其細(xì)胞膜內(nèi)外由離子濃度差造成的電位差在-70mV（內(nèi)負(fù)外正）左右，稱為靜息電位，此時(shí)，細(xì)胞膜的狀態(tài)為極化狀態(tài)(Polarization)，神經(jīng)元的狀態(tài)為靜息狀態(tài)。當(dāng)神經(jīng)元受到外界刺激時(shí)，如果膜電位從靜息電位向正方向偏移，則稱為去極化(Depolarization)，此時(shí)神經(jīng)元的狀態(tài)為興奮狀態(tài)；如果膜電位從靜息電位向負(fù)方向偏移，則稱為超極化(Hyperpolarization)，此時(shí)神經(jīng)元的狀態(tài)為抑制狀態(tài)。神經(jīng)元細(xì)胞膜的去極化和超極化程度反映了神經(jīng)元的興奮和抑制的強(qiáng)烈程度。在某一時(shí)刻，神經(jīng)元總是處于靜息、興奮和抑制3種狀態(tài)之一。神經(jīng)元之間信息的產(chǎn)生與興奮程度相關(guān)，在外界刺激下，當(dāng)神經(jīng)元的興奮程度超過了某個(gè)限度，即細(xì)胞膜去極化程度超過了某個(gè)閾值電位時(shí)，神經(jīng)元被激發(fā)而輸出神經(jīng)脈沖。每個(gè)神經(jīng)脈沖產(chǎn)生的經(jīng)過如下：當(dāng)膜電位以靜息電位為基準(zhǔn)高出15mV，即超過閾值電位(-55mV)時(shí)，該神經(jīng)細(xì)胞變成活性細(xì)胞，其膜電位自發(fā)地急速升高，在1ms內(nèi)，相比于靜息電位上升100mV左右，此后膜電位又急速下降，回到靜止時(shí)的值。這一過程稱為細(xì)胞的興奮過程，興奮的結(jié)果是產(chǎn)生一個(gè)寬度為1ms、振幅為100mV的電脈沖，又稱神經(jīng)沖動(dòng)，如圖所示。

圖膜電位變化

值得注意的是，當(dāng)細(xì)胞體產(chǎn)生一個(gè)電脈沖后，即使受到很強(qiáng)的刺激，也不會立刻產(chǎn)生興奮性電脈沖，這是因?yàn)樯窠?jīng)元在發(fā)放電脈沖時(shí)，閾值電位急速升高，持續(xù)1ms后慢慢下降到-55mV這一正常狀態(tài)，這段時(shí)間約為數(shù)毫秒，稱為不應(yīng)期。不應(yīng)期結(jié)束后，若細(xì)胞受到很強(qiáng)的刺激，則會再次產(chǎn)生興奮性電脈沖。由此可見，神經(jīng)元產(chǎn)生的信息是具有電脈沖形式的神經(jīng)沖動(dòng)，各電脈沖的寬度和幅度相同，而其間隔是隨機(jī)變化的。神經(jīng)元的輸入電脈沖密度越大，其興奮程度越高，單位時(shí)間內(nèi)產(chǎn)生的電脈沖串的平均頻率也越高。

2）神經(jīng)元之間信息的傳遞

神經(jīng)沖動(dòng)信號沿軸突傳向其末端的各個(gè)分支，在軸突的末端觸及突觸前時(shí)，突觸前的突觸小泡能釋放一種化學(xué)物質(zhì)（神經(jīng)遞質(zhì)）。在前一個(gè)神經(jīng)元發(fā)放電脈沖并傳到其軸突末梢后，這種神經(jīng)遞質(zhì)從突觸前膜釋放出，經(jīng)突觸間隙的液體擴(kuò)散，在突觸后膜與特殊受體相結(jié)合。受體的性質(zhì)決定了神經(jīng)遞質(zhì)的作用是興奮還是抑制，并據(jù)此改變突觸后膜的離子通透性，從而使突觸后膜電位發(fā)生變化。根據(jù)突觸后膜電位的變化，可將突觸分為兩種：興奮性突觸和抑制性突觸。興奮性突觸的后膜電位隨神經(jīng)遞質(zhì)與受體結(jié)合數(shù)量的增加而向正電位方向變化，抑制性突觸的后膜電位隨遞質(zhì)與受體結(jié)合數(shù)量的增加而向負(fù)電位方向變化。從化學(xué)角度看，當(dāng)興奮性神經(jīng)遞質(zhì)傳到突觸后膜時(shí)，后膜對離子通透性的改變使流入細(xì)胞膜內(nèi)的正離子增加，從而使突觸后膜成分去極化，產(chǎn)生興奮性突觸后電位；當(dāng)抑制性神經(jīng)遞質(zhì)傳送到突觸后膜時(shí)，突觸后膜對離子通透性的改變使流出細(xì)胞膜外的正離子增加，從而使突觸后膜成分超極化，產(chǎn)生抑制性突觸后電位。

當(dāng)突觸前膜釋放的興奮性神經(jīng)遞質(zhì)使突觸后膜的去極化電位超過了某個(gè)閾值電位時(shí)，后一個(gè)神經(jīng)元就有神經(jīng)沖動(dòng)輸出，從而把前一個(gè)神經(jīng)元的信息傳遞給后一個(gè)神經(jīng)元，如圖所示。

圖突觸信息傳遞過程

從電脈沖（神經(jīng)沖動(dòng)）信號到達(dá)突觸前膜，到突觸后膜電位發(fā)生變化，有0.2～1ms的時(shí)間延遲，稱為突觸延擱(SynapticDelay)。這段延遲是神經(jīng)遞質(zhì)分泌、向突觸間隙擴(kuò)散、到達(dá)突觸后膜并發(fā)生作用的時(shí)間總和。由此可見，突觸對神經(jīng)沖動(dòng)的傳遞具有延時(shí)作用。在人腦中，神經(jīng)元間的突觸聯(lián)系大部分是在出生后由于給予刺激而成長起來的。外界刺激的性質(zhì)不同，能夠改變神經(jīng)元之間的突觸聯(lián)系，即突觸后膜電位變化的方向與大小，從突觸信息傳遞的角度看，表現(xiàn)為放大倍數(shù)和極性的變化。正是由于各神經(jīng)元之間的突觸連接強(qiáng)度和極性有所不同并可進(jìn)行調(diào)整，人腦才具有學(xué)習(xí)和存儲信息的功能。

3）神經(jīng)元之間信息的整合

神經(jīng)元對信息的接受和傳遞都是通過突觸來進(jìn)行的。單個(gè)神經(jīng)元可以與多達(dá)上千個(gè)其他神經(jīng)元的軸突末梢形成突觸連接，接受從各個(gè)軸突傳來的脈沖輸入。這些輸入可到達(dá)神經(jīng)元的不同部位，輸入部位不同，對神經(jīng)元影響的權(quán)重也不同。在同一時(shí)刻產(chǎn)生的刺激引起的膜電位變化大致等于各單獨(dú)刺激引起的膜電位變化的代數(shù)和，這種累加求和稱為空間整合。另外，各輸入脈沖抵達(dá)神經(jīng)元的先后時(shí)間也不一樣。由一個(gè)脈沖引起的突觸后膜電位很低，但在其持續(xù)時(shí)間內(nèi)有另一個(gè)脈沖相繼到達(dá)時(shí)，總的突觸后膜電位升高，這種現(xiàn)象稱為時(shí)間整合。輸入一個(gè)神經(jīng)元的信息在時(shí)間和空間上常呈現(xiàn)一種復(fù)雜多變的形式，神經(jīng)元需要對它們進(jìn)行積累和整合加工，從而決定其輸出的時(shí)機(jī)和強(qiáng)弱。正是由于神經(jīng)元的這種時(shí)空整合作用，才使得神經(jīng)元在神經(jīng)系統(tǒng)中可以有條不紊、夜以繼日地處理著各種復(fù)雜的信息，執(zhí)行著生物中樞神經(jīng)系統(tǒng)的各種信息處理功能。

2.M-P神經(jīng)元模型

現(xiàn)在我們所講的神經(jīng)網(wǎng)絡(luò)包括深度學(xué)習(xí)，追根溯源，它們在模擬大腦神經(jīng)元的工作機(jī)理，模仿大腦神經(jīng)元的最早示例，就是20世紀(jì)40年代提出但一直沿用至今的“M-P神經(jīng)元模型”。

M-P神經(jīng)元模型，最早源于發(fā)表于1943年的一篇開創(chuàng)性論文。論文的兩位作者分別是神經(jīng)生理學(xué)家沃倫·麥克洛克（WarrenMcCulloch）和數(shù)學(xué)家沃爾特·皮茨（Walter Pitts），論文首次實(shí)現(xiàn)了用一個(gè)簡單電路（即感知機(jī)）來模擬大腦神經(jīng)元的行為。

M-P神經(jīng)元模型，如圖所示，神經(jīng)元接收來自n個(gè)其他神經(jīng)元傳遞過來的輸入信號。這些信號的表達(dá)，通常通過神經(jīng)元之間連接的權(quán)重(Weight)大小來表示，神經(jīng)元將接收到的輸入值按照某種權(quán)重疊加起來，與當(dāng)前神經(jīng)元的閾值進(jìn)行比較，然后通過激活函數(shù)(Activation Function)向外表達(dá)輸出，在概念上這就叫感知機(jī)(Perceptron)。

這里的關(guān)鍵是，信息是通過一個(gè)激活函數(shù)來處理的。激活函數(shù)模擬大腦神經(jīng)元，輸入信號的強(qiáng)度的大小決定了它們被觸發(fā)或者不被觸發(fā)。然后處理結(jié)果被加權(quán)并分配到下一層神經(jīng)元。從本質(zhì)上來講，神經(jīng)元通過加權(quán)和相互激活。這保證了兩個(gè)神經(jīng)元之間連接強(qiáng)度的大小由處理信息的權(quán)重來確定。

人工神經(jīng)元 數(shù)學(xué)節(jié)點(diǎn)、單元或者神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的核心。它是基本的處理單位。輸入層神經(jīng)元接收通過數(shù)學(xué)函數(shù)處理的輸入信息，然后把它們分發(fā)到隱藏層神經(jīng)元。信息經(jīng)隱藏層神經(jīng)元處理后傳送到輸出層神經(jīng)元。

圖 M-P神經(jīng)元模型

圖 M-P神經(jīng)元模型與生物神經(jīng)元對比

審核編輯：湯梓紅