編者按：最近小編在搜集CNN卷積計算方面的資料，希望能出一份清晰明了的圖文列表，但即便是在CNN介紹已經泛濫的今天，一篇好的、簡單易懂的博客文章都是那么稀缺。今天，小編就先編譯加州大學洛杉磯分校學生Adit Deshpande的幾篇入門文章，希望能給新手讀者帶來幫助。

簡介

單從字面上看，卷積神經網絡這個詞聽起來就像是生物學和數學的詭異組合，里面可能還摻了一點計算機科學的意味，但這種神經網絡一直在為計算機視覺領域默默貢獻著最具影響力的創新。2012年是神經網絡蓬勃發展的第一年，Alex Krizhevsky利用它們在當年的ImageNet競賽中贏得了勝利，把分類錯誤率從原來的26%降低到了15%，這在當時簡直是驚天之舉。

從那之后，許多公司開始把深度學習納入自家的核心產品中：Facebook把神經網絡用于自動標記算法，Google把神經網絡用于圖像搜索，亞馬遜把它們用于商品推薦，Pinterest把它們用于主頁的個性化，而Instagram則開始用神經網絡改進搜索架構。

而在這些神經網絡中，應用最為廣泛的就是今天我們要聊的CNN。以圖像處理為例，我們來看看CNN是怎么幫助進行圖像分類的。

輸入和輸出

圖像分類指的是輸入一張圖像后，神經網絡輸出一個關于這個圖像的類，或是圖像屬于某類的概率的任務。對于人類而言，這是我們從出生那一刻起就開始不斷學習的技能之一，而且隨著年齡的增長，人們處理這種任務會越來越輕松自然。

無需二次思考，我們就能快速無縫識別身處的環境和周圍的所有物體。當看到一幅圖或是觀察周圍環境時，我們幾乎是下意識地調用以往學習的所有知識，為場景中的各個對象一一打上標簽。

我們看到的 vs. 計算機看到的

但計算機不同。我們把圖像輸入計算機后，它“看”到的其實是一組像素值。這些像素值的數量會根據圖像的大小和分辨率發生改變，如果輸入圖像是一張JPG格式的彩色圖像，它的像素為480×480，那么計算機得到的數組就是480×480×3（這里3表示RGB值）。

這個數組里的每一個值都介于0—225之間，描述了對應像素的強度。雖然這些值對分類任務來說毫無意義，但它們是計算機可以用的唯一輸入。這就帶出了另一個更直白的圖像分類任務描述：它其實是把像素值數組作為輸入，然后輸出圖像屬于某一類的具體概率，如80%（貓）、15%（狗）、5%（鳥）。

我們想讓計算機做什么

既然知道了理想的輸入和輸出，那我們面臨的下一個問題就是如何讓計算機解決這個任務。我們希望它能區分所有圖像，然后找出狗之所以是狗、貓之所以是貓的獨特特征。這是人類的本能反應。當我們看到包含狗的圖像時，如果圖像里出現了一些明確的識別特征，如狗爪子和四條小短腿，我們可以迅速將其歸類。

同樣的，計算機分辨貓狗的做法是觀察邊緣、曲線等低層次特征，然后把這些放進一系列卷積層中進一步提取更多抽象概念。當然，這只是CNN進行圖像分類的一般概述，在下一節中我們會具體說明。

在開始正題前，我們先來探討一下“卷積神經網絡”這個詞。當你第一次接觸這個術語時，你會不會覺得這應該是神經科學或生物學方面的東西？其實這種感覺是正確的，CNN是生物學家對動物的視覺研究成果的一個衍生物。

視覺皮層中存在一塊對視野特定區域尤為敏感的細胞。1962年，Hubel和Wiesel對視覺神經細胞做了一個實驗，實驗表結果明，只有在存在特定方向邊緣的情況下，大腦中的一些神經細胞個體才會響應。他們發現所有這些神經細胞都位于一個柱狀結構中，而且能產生視覺感知。這種在特定任務的系統內部尋找特定組件的思想正是如今許多計算機任務的核心，它也是CNN背后的基礎。

讓我們回到CNN，簡而言之，它的一般流程就是：輸入圖像——卷積層、非線性層、池化層（下采樣）、完全連接層——輸出分類/概率。那么這些層分別都做了什么呢？

第一層 - 數學視角

CNN的第一層是一個卷積層。我會假裝你還記得神經網絡的輸入和輸出分別是什么，所以在這里我們假設輸入圖像是一張像素為32×32的彩色JPG，相應的，CNN的輸入就是一個32×32×3的像素值數組。那么作為第一層的卷積層究竟有什么用？如下圖所示，我們可以把卷積層想象成一個發光的手電筒，它從左上角開始檢查，光照范圍是5×5。現在，想象一下用手電筒一塊塊檢查完所有區域。

在機器學習術語中，這個手電筒是filter（neuron/kernel），每次照亮的這塊5×5的區域是receptive field（感受野）。filter也是一個數組（權重/參數），而且深度必須和輸入圖像深度一致，這樣才能確保計算。在我們的例子中，filter的具體尺寸就是5×5×3。

隨著手電筒從左上角開始逐漸照亮周圍區域，圖像正在卷積，這時filter的數組會與原圖像像素值數組相乘（計算點積），在我們的例子中，它需要進行75次乘法運算，然后把這些乘積相加得到一個值。檢查完第一塊5×5后，讓我們把手電筒往右挪一個像素繼續計算點積，之后繼續往右挪一個像素，以此類推。

已知原輸入是32×32×3，filter尺寸5×5×3，當手電筒掃完整片區域后，最后我們在隱藏層獲得的是一個28×28×1的數組（窗口逐格挪動，邊界少2；3個顏色通道合并成1個）。它也被稱為activation map（加激活函數）或feature map。

注：如果這里我們用了兩個5×5×3的filter，那最后的映射結果會是28×28×2。filter越多，空間維度保留地越好。

第一層 - 高層次的視角

知道了具體的數學計算步驟后，我們似乎還是不清楚卷積層的作用，所以這里我們從高層次的視角再看一遍。

每個filter都可以被看作是特征標識符（ feature identifiers），這里的特征指的是直線邊緣、曲線、黑白等，它們是每個圖像的都具備的最簡單的特征。假設我們有一個7×7×3的能檢測曲線的filter，它會給帶有曲線像素結構的區域更高數值。（請忽略filter的深度，只把它看成一個數組）

上圖就是這個filter的可視化，它在曲線區域賦予了更高的權重，因此當圖像感受野和它相乘時，相應區域的值會很高。

假設輸入圖像是一只小老鼠的簡筆畫。當filter從左上角開始卷積時，窗口先接觸到老鼠尾部。請記住一點，我們必須計算filter與圖像原始像素數組和乘積。

這個圓潤的曲線和filter的理想曲線形狀相似，相乘后，它們產生了一個很大的值。

但是，如果這時我們把窗口移到老鼠頭部，輸出結果就很差了。我們要注意一點，就是filter的輸出是個activation map（必定要ReLu一下），所以在這個只包含一個filter的簡單示例中，第一個卷積層在圖像左上角的區域得到了高值，而對右上角不會有激活反應。這就起到了“過濾”的效果。

當然這只是一個filter，一個只能分辨向右彎曲的曲線的filter，在真實實踐中，我們可以設置大量不同的filter來獲得更全面的activation map，如檢測直線的、色彩的。

注：這里的曲線、直線、色彩都是假設，事實上我們并不清楚CNN捕捉的特征是什么，我們只能從數據中看出它有沒有得到新特征，切勿認為計算機看到的就等同于人眼看到的。

CS 231N課程

越來越深的網絡

現在在一些經典CNN架構中，卷積層之間偶爾也會出現一些其他層，感興趣的讀者可以去了解一下這些層分別是什么，或者分別有什么作用，但總的來說，它們的出現都是為了增強神經網絡的穩定性并控制過擬合。從某種角度上說，CNN一般長這樣：

常規的CNN包含兩個卷積層就夠了，一些更高級的可能會存在多個卷積層的情況。就上圖而言，最后一個完全連接層是非常重要的，但我們把它放到下一節再介紹，先聊聊之前的各個步驟。把圖像輸入神經網絡后，第一個卷積層輸出的是activation map，這時網絡提取到了圖像中的一些低層次特征，就像人類眼中的邊緣和曲線。

用ReLu激活后，CNN把activation map輸入第二個卷積層，在這里，filter過濾的就是activation map中的特征，這是一個從低層次特征中提取高層次特征的過程，雖然我們不知道計算機看到了什么，但如果拿人類學習來類比，這一步可以被理解為從之前看到的邊緣、曲線中找出能組成半圓、正方形的線條組合。

卷積層越多，我們能提取到的高層次特征就越多，神經網絡對像素空間就越敏感。反過來看，這時網絡復雜度也高了，容易產生過擬合。

全連接層

有了高層次特征，現在我們就能品嘗CNN的精華——全連接層了。無論之前是卷積層的輸出還是ReLu、池化層的輸出，全連接層基本只接受一個輸入，并輸出一個N維向量，其中N是必須從中選擇的分類數。如果你想要分類手寫數字，這時N就是10，因為有10個數字。

這個N維向量中的每個數字代表屬于某個類別的概率。例如，如果全連接層的輸出是[0 .1 .1 .75 0 0 0 0 .05]，那么圖像是1的概率就是10％，圖像是2概率是10％，圖像是3的概率是75％，圖像是9的概率則是5％（注意：還有其他方法可以表示輸出，這里只展示softmax方法）。

簡而言之，全連接層的作用就是觀察前一層的輸出（一般是包含高層次特征的activation map），然后確定哪些特征與特定類最相關。以人類類比，如果要辨別圖像里的是不是狗，我們會注意里面有沒有爪子、四肢；如果要辨別是不是鳥，翅膀和喙就特別重要。全連接層會賦予這些相關性更強的特征更多權重，以便當我們計算權重和上一層之間的乘積時，我們可以得到圖像屬于不同類別的正確概率。

訓練

最后就到了CNN最重要的部分——訓練了。在閱讀前文時，我們可能有諸多疑惑：filter是怎么知道自己要找哪些低層次特征的？全連接層又是怎么篩選activation map的？計算機能自動選取filter中的權重嗎？很顯然，這一切都是由經典的反向傳播來實現的。

在我們剛出生的時候，一切都是新的，我們不知道什么是狗，也不知道什么是鳥。同樣的，當一個CNN被剛寫出來的時候，它的世界也才剛起步，所有數值都是隨機選取的，filter不知道自己要篩選什么特征，全連接層也無法在activation map里放大有效信息。而隨著年齡的增長，我們的父母和老師逐漸向我們展示了這個多彩的世界，以及和它緊密相關的諸多標簽。訓練就是CNN學習的過程，通過查看數據集中成千上萬的圖片，神經網絡也能慢慢從中捕捉到特征，并學會正確分類。

反向傳播由4個不同步驟組成：正向傳遞、損失函數、反向傳遞和權重更新。

正向傳遞時，我們輸入一張圖像，一個尺寸為32×32×3的像素值數組，然后將其傳遞給整個網絡。在我們的第一個訓練示例中，由于所有權重/filter值都是隨機初始化的，因此輸出結果可能類似[.1 .1 .1 .1 .1 .1 .1 .1 .1]，它在分類上“不偏不倚”。

損失函數開啟了“反向”的第一步。當網絡現有權重無法提取低層次特征時，這就意味著它沒法得出合理的分類結果。但是記住一點，我們用的是訓練數據，它包含圖像和標簽兩種信息，這就意味著我們能用損失函數計算預測標簽和真實標簽的差異，差異越小，CNN預測正確的可能性就越大，性能也越好。損失函數有很多，但其中最常用的MSE（均方誤差）：

既然目的是把損失值降到最低，那這就成了一個優化問題——找出對輸出影響最大的輸入，也就是dL / dW，其中W是特定層的權重。

現在，我們要做的是通過網絡進行反向傳遞，確定哪些權重對損失影響最大，并找到調整它們的方法從而減少損失。一旦我們計算出這個導數，我們就會進入最后一步，權重更新。

學習率（learning rate）是一個可以自定義調整的超參數，它影響著著CNN的收斂速度。如果學習率過大，權重更新的幅度就很大，這時CNN能快速收斂，但它也帶來一個問題，就是權重的精度不夠，無法得出最優解。

正向傳遞、損失函數、反向傳遞和權重更新的過程構成一輪訓練迭代。CNN會對參與訓練的每組圖像（batch）進行進行固定次數的迭代。一旦你完成了最后一個訓練樣本的參數更新，這時網絡的性能更好了，各層的權值也終于調整正確了。

下期預告

本文介紹了CNN的一些基礎知識，包括filter的作用、各層的作用等，但還未介紹網絡架構、批量歸一化、損失函數選擇、數據增強、正則化方法等內容。新人可以依靠本文對CNN建立初步認識，部分重要內容我們會在下一篇文章中詳談。