CNN的求解

CNN在本質上是一種輸入到輸出的映射，它能夠學習大量的輸入與輸出之間的映射關系，而不需要任何輸入和輸出之間的精確的數學表達式，只要用已知的模式對卷積網絡加以訓練，網絡就具有輸入輸出對之間的映射能力。

卷積網絡執行的是監督訓練，所以其樣本集是由形如：**（輸入向量，理想輸出向量）**的向量對構成的。所有這些向量對，都應該是來源于網絡即將模擬系統的實際“運行”結構，它們可以是從實際運行系統中采集來。

1）參數初始化：

在開始訓練前，所有的權都應該用一些不同的隨機數進行初始化。“小隨機數”用來保證網絡不會因權值過大而進入飽和狀態，從而導致訓練失敗；“不同”用來保證網絡可以正常地學習。實際上，如果用相同的數去初始化權矩陣，則網絡無學習能力。

2）訓練過程包括四步

① 第一階段：前向傳播階段

從樣本集中取一個樣本，輸入網絡

計算相應的實際輸出；在此階段信息從輸入層經過逐級的變換，傳送到輸出層，這個過程也是網絡在完成訓練之后正常執行時執行的過程

② 第二階段：后向傳播階段

計算實際輸出與相應的理想輸出的差

按照極小化誤差的方法調整權值矩陣

網絡的訓練過程如下：

選定訓練組，從樣本集中分別隨機地尋求N個樣本作為訓練組；

將各權值、閾值，置成小的接近于0的隨機值，并初始化精度控制參數和學習率；

從訓練組中取一個輸入模式加到網絡，并給出它的目標輸出向量；

計算出中間層輸出向量，計算出網絡的實際輸出向量；

將輸出向量中的元素與目標向量中的元素進行比較，計算出輸出誤差；對于中間層的隱單元也需要計算出誤差；

依次計算出各權值的調整量和閾值的調整量；

調整權值和調整閾值；

當經歷M后，判斷指標是否滿足精度要求，如果不滿足，則返回（3），繼續迭代；如果滿足就進入下一步；

訓練結束，將權值和閾值保存在文件中。這時可以認為各個權值已經達到穩定，分類器已經形成。再一次進行訓練，直接從文件導出權值和閾值進行訓練，不需要進行初始化。