在實際問題中，已知量是數(shù)據(jù)和數(shù)據(jù)標(biāo)簽，決策函數(shù)是未知的，即神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)未知。

因此，在使用人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)解決實際問題時，需先假設(shè)人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，再將訓(xùn)練數(shù)據(jù)輸入到該結(jié)構(gòu)中 ，最后求解待求參數(shù)。

一、假設(shè)人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

假設(shè)人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)主要需要確定兩個問題：

（1）人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)共有多少層？

（2）每層神經(jīng)元的數(shù)量是多少？

目前，上述兩個問題沒有標(biāo)準(zhǔn)答案，開發(fā)人員需根據(jù)經(jīng)驗解決上述兩個問題。解決上述兩個問題時，開發(fā)人員可根據(jù)以下準(zhǔn)則：

（1）若問題是簡單的，兩個類別的分界曲線是不復(fù)雜的，則可選用較簡單的人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，即人工神經(jīng)網(wǎng)絡(luò)層數(shù)和每層神經(jīng)數(shù)量均可較少。



圖片來源：中國慕課大學(xué)《機器學(xué)習(xí)概論》

（2）若問題是復(fù)雜的，例如：人臉識別問題，則可選用較復(fù)雜的人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，即人工神經(jīng)網(wǎng)絡(luò)層數(shù)和每層神經(jīng)數(shù)量均可較多。

（3）若訓(xùn)練數(shù)據(jù)較少，則可選用較簡單的人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

（4）若訓(xùn)練數(shù)據(jù)較多，則可選用較復(fù)雜的人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

二、求解人工神經(jīng)網(wǎng)絡(luò)待求參數(shù)

以兩層神經(jīng)網(wǎng)絡(luò)模型為例，如圖一所示，輸入為(X,Y)，其中，X=[x1,x2]T，Y是標(biāo)簽值（label），問題為通過改變ω和b的值，使得標(biāo)簽值Y與實際的人工神經(jīng)網(wǎng)絡(luò)輸出值y最接近。



圖一，圖片來源：中國慕課大學(xué)《機器學(xué)習(xí)概論》

根據(jù)前篇文章，y的表達(dá)式為： y=ω1φ(ω11x1+ω12x2+b1)+ω2φ(ω21x1+ω22x2+b1)+b3

使得y和Y最接近可表達(dá)為： Minimize:E(ω,b)=E(X,Y)[(Y-y)2]

其中，E(X,Y)為訓(xùn)練樣本和標(biāo)簽的數(shù)學(xué)期望（平均值）。因為y是(ω,b)的非凸函數(shù)，所以該問題無法求得唯一最小值。

因此，采用梯度下降法(Gradient Descent Method)求解局部極小值。梯度下降法的步驟如下：

（1）隨機選取ω和b的初始值(ω(0),b(0))

（2）應(yīng)用迭代算法求目標(biāo)函數(shù)的局部極值，在第n步迭代中，ω和b的迭代公式為： ω(n+1)=ω(n)-α·?E/?ω b(n+1)=b(n)-α·?E/?b

其中，α為學(xué)習(xí)率（Learning rate），α由開發(fā)人員設(shè)定，開發(fā)人員需選取合適的α值，若α值被設(shè)定得過大，則容易錯過局部極值點，若α值被設(shè)定得過小，則可能較長時間不能找到局部極值點，只有當(dāng)α值被設(shè)定得合適時，才能快速收斂至局部極值點。但因為人工神經(jīng)網(wǎng)絡(luò)對應(yīng)的決策函數(shù)未知，所以沒有一種可求解α值的方法，開發(fā)人員需根據(jù)經(jīng)驗設(shè)定α值。



圖片來源：中國慕課大學(xué)《機器學(xué)習(xí)概論》

梯度下降法的含義：如圖二所示，通過迭代的方式逐步遍歷x1，x2，x3，…，xn，最終找到函數(shù)的局部極小值，此值即為y和Y最接近的值。



圖片來源：中國慕課大學(xué)《機器學(xué)習(xí)概論》

審核編輯：劉清