摘要： 本文對多層感知器和反向傳播進行入門級的介紹。 人工神經(jīng)網(wǎng)絡(luò)是一種計算模型，啟發(fā)自人類大腦處理信息的生物神經(jīng)網(wǎng)絡(luò)。

人工神經(jīng)網(wǎng)絡(luò)是一種計算模型，啟發(fā)自人類大腦處理信息的生物神經(jīng)網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)在語音識別、計算機視覺和文本處理領(lǐng)域取得了一系列突破，讓機器學(xué)習(xí)研究和產(chǎn)業(yè)感到了興奮。在本篇博文中，我們將試圖理解一種稱為「多層感知器（Multi Layer Perceptron）」的特定的人工神經(jīng)網(wǎng)絡(luò)。
?

單個神經(jīng)元

神經(jīng)網(wǎng)絡(luò)中計算的基本單元是神經(jīng)元，一般稱作「節(jié)點」（node）或者「單元」（unit）。節(jié)點從其他節(jié)點接收輸入，或者從外部源接收輸入，然后計算輸出。每個輸入都輔有「權(quán)重」（weight，即 w），權(quán)重取決于其他輸入的相對重要性。節(jié)點將函數(shù) f（定義如下）應(yīng)用到加權(quán)后的輸入總和，如圖 1 所示：

圖 1：單個神經(jīng)元

此網(wǎng)絡(luò)接受 X1 和 X2 的數(shù)值輸入，其權(quán)重分別為 w1 和 w2。另外，還有配有權(quán)重 b（稱為「偏置（bias）」）的輸入 1。我們之后會詳細介紹「偏置」的作用。

神經(jīng)元的輸出 Y 如圖 1 所示進行計算。函數(shù) f 是非線性的，叫做激活函數(shù)。激活函數(shù)的作用是將非線性引入神經(jīng)元的輸出。因為大多數(shù)現(xiàn)實世界的數(shù)據(jù)都是非線性的，我們希望神經(jīng)元能夠?qū)W習(xí)非線性的函數(shù)表示，所以這種應(yīng)用至關(guān)重要。

每個（非線性）激活函數(shù)都接收一個數(shù)字，并進行特定、固定的數(shù)學(xué)計算 [2]。在實踐中，可能會碰到幾種激活函數(shù)：

Sigmoid（S 型激活函數(shù)）：輸入一個實值，輸出一個 0 至 1 間的值 σ(x) = 1 / (1 + exp(?x))

tanh（雙曲正切函數(shù)）：輸入一個實值，輸出一個 [-1,1] 間的值 tanh(x) = 2σ(2x) ? 1

ReLU：ReLU 代表修正線性單元。輸出一個實值，并設(shè)定 0 的閾值（函數(shù)會將負值變?yōu)榱悖ゝ(x) = max(0, x)

下圖 [2] 表示了上述的激活函數(shù)

圖 2：不同的激活函數(shù)。

偏置的重要性：偏置的主要功能是為每一個節(jié)點提供可訓(xùn)練的常量值（在節(jié)點接收的正常輸入以外）。神經(jīng)元中偏置的作用，詳見這個鏈接：

前饋神經(jīng)網(wǎng)絡(luò)

前饋神經(jīng)網(wǎng)絡(luò)是最先發(fā)明也是最簡單的人工神經(jīng)網(wǎng)絡(luò) [3]。它包含了安排在多個層中的多個神經(jīng)元（節(jié)點）。相鄰層的節(jié)點有連接或者邊（edge）。所有的連接都配有權(quán)重。

圖 3 是一個前饋神經(jīng)網(wǎng)絡(luò)的例子。

圖 3： 一個前饋神經(jīng)網(wǎng)絡(luò)的例子

一個前饋神經(jīng)網(wǎng)絡(luò)可以包含三種節(jié)點：

1. 輸入節(jié)點（Input Nodes）：輸入節(jié)點從外部世界提供信息，總稱為「輸入層」。在輸入節(jié)點中，不進行任何的計算——僅向隱藏節(jié)點傳遞信息。

2. 隱藏節(jié)點（Hidden Nodes）：隱藏節(jié)點和外部世界沒有直接聯(lián)系（由此得名）。這些節(jié)點進行計算，并將信息從輸入節(jié)點傳遞到輸出節(jié)點。隱藏節(jié)點總稱為「隱藏層」。盡管一個前饋神經(jīng)網(wǎng)絡(luò)只有一個輸入層和一個輸出層，但網(wǎng)絡(luò)里可以沒有也可以有多個隱藏層。

3. 輸出節(jié)點（Output Nodes）：輸出節(jié)點總稱為「輸出層」，負責(zé)計算，并從網(wǎng)絡(luò)向外部世界傳遞信息。

在前饋網(wǎng)絡(luò)中，信息只單向移動——從輸入層開始前向移動，然后通過隱藏層（如果有的話），再到輸出層。在網(wǎng)絡(luò)中沒有循環(huán)或回路 [3]（前饋神經(jīng)網(wǎng)絡(luò)的這個屬性和遞歸神經(jīng)網(wǎng)絡(luò)不同，后者的節(jié)點連接構(gòu)成循環(huán)）。

下面是兩個前饋神經(jīng)網(wǎng)絡(luò)的例子：
1. 單層感知器——這是最簡單的前饋神經(jīng)網(wǎng)絡(luò)，不包含任何隱藏層。你可以在 [4] [5] [6] [7] 中了解更多關(guān)于單層感知器的知識。

2. 多層感知器——多層感知器有至少一個隱藏層。我們在下面會只討論多層感知器，因為在現(xiàn)在的實際應(yīng)用中，它們比單層感知器要更有用。