近日，DeepMind在論文Population Based Training of Neural Networks中提出了一種超參數優化方法，在沿用傳統隨機搜索的并行訓練的同時，從GA算法中獲得靈感引入了從其他個體復制參數更新迭代的做法，效果顯著。據官方稱，使用這種名為PBT的方法可大幅提高計算機資源利用效率，訓練更穩定，模型性能也更好。

從圍棋到雅達利游戲到圖像識別和語言翻譯，神經網絡在各領域都取得了極大的成功。但經常被忽視的一點是，神經網絡在特定應用中的成功往往取決于研究開始時做出的一系列選擇，包括使用何種類型的網絡、訓練數據和訓練方法。目前，這些選擇（超參數）的選取主要基于經驗、隨機搜索和計算機密集搜索。

在DeepMind新近發表的一篇論文中，團隊提出了一種訓練神經網絡的新方法——Population Based Training （PBT，暫譯為基于群體的訓練），通過同時訓練和優化一系列網絡，它能幫開發者迅速選擇最佳超參數和模型。

該方法其實是兩種最常用的超參數優化方法的整合：隨機搜索（random search）和手動調試（hand-tuning）。如果單純使用隨機搜索，神經網絡群體并行訓練，并在訓練結束時選擇性能最好的模型。一般來說，這意味著只有一小部分群體能接受良好的超參數訓練，而剩下的大部分訓練質量不佳，基本上只是在浪費計算機資源。

隨機搜索選取超參數，超參數并行訓練而又各自獨立。一些超參數可能有助于建立更好的模型，但其他的不會

而如果使用的是手動調試，研究人員必須首先推測哪種超參數最合適，然后把它應用到模型中，再評估性能，如此循環往復，直到他對模型的性能感到滿意為止。雖然這樣做可以實現更好的模型性能，但缺點同樣很突出，就是耗時太久，有時需要數周甚至數月才能完成優化。

如果使用手動調試或貝葉斯優化等方法通過依次觀察訓練效果選取超參數，整體進度會異常緩慢

PBT結合兩種方法的優勢。和隨機搜索一樣，它首先會訓練大量神經網絡供隨機超參數實驗，但不同的是，這些網絡不是獨立訓練的，它們會不斷整合其他超參數群體的信息來進行自我完善，同時將計算資源集中給最有潛力的模型。這個靈感來自遺傳算法（GA），在GA中，每個個體（候選解）能通過利用其他個體的參數信息進行迭代，如，一個個體能從另一個性能較優的個體中復制參數模型。同理，PBT鼓勵每個超參數通過隨機更改當前值來探索形成新的超參數。

隨著對神經網絡訓練的不斷深入，這個開發和探索的過程是定期進行的，以確保所有超參數都有一個良好的基礎性能，同時，新超參數也在不斷形成。這意味著PBT可以迅速選取優質超參數，并把更多的訓練時間投入到最有潛力的模型中，最關鍵的是，它還允許在訓練過程中調整超參數值，從而自動學習最佳配置。

PBT的神經網絡訓練從隨機搜索開始，但允許個體利用其他個體的部分結果，并隨著訓練的進行探索形成新超參數

為了測試PBT的效果，DeepMind做了一些實驗。如研究人員在DeepMind Lab、雅達利和星際2三個游戲平臺上用最先進的方法測試了一套具有相當挑戰性的強化學習問題。實驗證明，在所有情況下，PBT都訓練穩定，并且迅速找到了最佳超參數，提供了超出最新基線的結果。

他們還發現PBT同樣適用于生成對抗網絡（GAN）。一般來說，GAN的超參數很難調試，但在一次實驗中，DeepMind的PBT框架使模型的Inception Score（圖像保真度分數）達到了新高，從6.45躍升至6.89（如上圖最后一幅圖所示）。

PBT也在Google的機器翻譯神經網絡上進行了實驗。作為谷歌最先進的機翻工具，這些神經網絡使用的超參數優化方法是手動調試，這意味著在投入使用前，它們需要按照研究人員精心設計的超參數時間表進行長達數月的訓練。使用PBT，計算機自動建立了時間表，該訓練計劃所獲得的模型性能和現用方法差不多，甚至更好，而且只需進行一次訓練就可以獲得滿意的模型。

PBT在GAN和雅達利游戲“吃豆子女士”上的表現：粉色點為初代，藍色點為末代，分支代表操作已執行（參數已復制），路徑表示步驟的連續更新

DeepMind相信，這只是超參數優化方法創新的一個開始。綜合論文可知，PBT對于訓練引入新超參數的算法和神經網絡結果特別有用，它為尋找和開發更復雜、更強大的神經網絡模型提供了可能性。