導(dǎo)讀

為什么我們的機(jī)器學(xué)習(xí)項(xiàng)目會(huì)失??？

創(chuàng)造一個(gè)大的機(jī)器學(xué)習(xí)系統(tǒng)是一門藝術(shù)。

在構(gòu)建一個(gè)大的機(jī)器學(xué)習(xí)系統(tǒng)時(shí)，有很多事情需要考慮。但作為數(shù)據(jù)科學(xué)家，我們常常只擔(dān)心項(xiàng)目的某些部分。

但是我們是否考慮過(guò)一旦我們擁有了模型，我們將如何部署它們？

我見(jiàn)過(guò)許多 ML 項(xiàng)目，其中許多項(xiàng)目注定要失敗，因?yàn)樗鼈儚囊婚_(kāi)始就沒(méi)有一個(gè)固定的生產(chǎn)計(jì)劃。

這篇文章是關(guān)于一個(gè)成功的 ML 項(xiàng)目的過(guò)程需求 —— 一個(gè)進(jìn)入生產(chǎn)的項(xiàng)目。

1. 在開(kāi)始的時(shí)候建立基線

你并不需要用模型來(lái)獲得基線結(jié)果。

假設(shè)我們將使用 RMSE 作為我們的時(shí)間序列模型的評(píng)估指標(biāo)。我們?cè)跍y(cè)試集上對(duì)模型進(jìn)行了評(píng)估，RMSE 為 3.64。

3.64 是個(gè)好 RMSE 嗎？我們?cè)趺粗?？我們需要一個(gè)基線 RMSE。

這可能來(lái)自當(dāng)前使用的用于相同任務(wù)的模型。或者使用一些非常簡(jiǎn)單的啟發(fā)式。對(duì)于時(shí)間序列模型，需要打敗的基線是最后一天的預(yù)測(cè)。即，預(yù)測(cè)前一天的數(shù)字。

如果是圖像分類任務(wù)，取 1000 個(gè)有標(biāo)簽的樣本。而人類的準(zhǔn)確性可以作為你的基線。如果一個(gè)人不能在任務(wù)中獲得 70%的預(yù)測(cè)精度，那么如果你的模型達(dá)到類似的水平，你總是可以考慮將流程自動(dòng)化。

學(xué)習(xí)：在你創(chuàng)建模型之前，試著了解你將要得到的結(jié)果。設(shè)定一些不切實(shí)際的期望只會(huì)讓你和你的客戶失望。

2. 持續(xù)集成是前進(jìn)的方向

你現(xiàn)在已經(jīng)創(chuàng)建了你的模型。它在本地測(cè)試數(shù)據(jù)集上的性能比基線/當(dāng)前模型要好。我們應(yīng)該繼續(xù)前進(jìn)嗎？

我們有兩個(gè)選擇：

進(jìn)一步改進(jìn)我們的模型，這是一個(gè)無(wú)止境的循環(huán)。

在生產(chǎn)環(huán)境中測(cè)試我們的模型，得到更多關(guān)于可能出錯(cuò)的信息，然后使用持續(xù)集成來(lái)改進(jìn)我們的模型。

我支持第二種方法。Andrew Ng 在 Coursera 上的第三門課，“Deep Learning Specialization”中的“Structuring Machine learning”中說(shuō)：

“不要一開(kāi)始就試圖設(shè)計(jì)和構(gòu)建完美的系統(tǒng)。相反，應(yīng)該快速地建立和訓(xùn)練一個(gè)基本的系統(tǒng) —— 也許只需要幾天的時(shí)間。即使基本的系統(tǒng)遠(yuǎn)遠(yuǎn)不是你能建立的“最好”的系統(tǒng)，檢查基本的系統(tǒng)是有價(jià)值的：你會(huì)很快找到一些線索，告訴你在哪些方面最值得投入你的時(shí)間。

完成比完美更好。

學(xué)習(xí)：如果你的新模型比當(dāng)前生產(chǎn)中的模型更好，或者你的新模型比基線更好，那么等待投入生產(chǎn)是沒(méi)有意義的。

3. 你的模型可能會(huì)進(jìn)入生產(chǎn)

你的模型是否優(yōu)于基線？它在本地測(cè)試數(shù)據(jù)集上表現(xiàn)得更好，但是它真的能在整體上工作得很好嗎？

為了測(cè)試你的模型優(yōu)于現(xiàn)有模型的假設(shè)的有效性，你可以設(shè)置一個(gè)A/B 測(cè)試。一些用戶(測(cè)試組)看到來(lái)自你的模型的預(yù)測(cè)，而一些用戶(控制組)看到來(lái)自前一個(gè)模型的預(yù)測(cè)。

事實(shí)上，這是部署模型的正確方式。你可能會(huì)發(fā)現(xiàn)你的模型并沒(méi)有看起來(lái)那么好。

錯(cuò)了并不是真的錯(cuò)，錯(cuò)的是沒(méi)有預(yù)料到我們可能會(huì)錯(cuò)。

很難指出你的模型在生產(chǎn)環(huán)境中表現(xiàn)不佳的真正原因，但一些原因可能是：

你可能會(huì)看到實(shí)時(shí)的數(shù)據(jù)與訓(xùn)練數(shù)據(jù)有很大的不同。

或者你沒(méi)有正確地完成預(yù)處理 pipeline。

或者你沒(méi)有正確地衡量 performance。

或者你的實(shí)現(xiàn)中有一個(gè) bug。

學(xué)習(xí)：不要全面投入生產(chǎn)。A/B 測(cè)試永遠(yuǎn)是前進(jìn)的好方法。準(zhǔn)備一些可以依靠的東西(可能是一個(gè)更老的模型)?？傆幸恍〇|西會(huì)出問(wèn)題，這是你無(wú)法預(yù)料的。

4. 你的模型可能不會(huì)投入生產(chǎn)中

我創(chuàng)建了這個(gè)令人印象深刻的 ML 模型，它提供了 90%的準(zhǔn)確性，但它需要大約 10 秒鐘來(lái)獲取預(yù)測(cè)。

**這樣可接受嗎？**對(duì)于某些用例可能是，但實(shí)際上不是。

在過(guò)去，有許多 Kaggle 競(jìng)賽的獲勝者最終創(chuàng)造了非常大的模型集成，占據(jù)了排行榜的榜首。下面是一個(gè)例子模型，它曾在 Kaggle 上贏得 Otto 分類挑戰(zhàn)：

在Level1上用了33個(gè)模型和8種特征工程

另一個(gè)例子是 Netflix 百萬(wàn)美元推薦引擎挑戰(zhàn)。由于涉及的工程成本，Netflix 團(tuán)隊(duì)最終沒(méi)有使用獲獎(jiǎng)解決方案。

那么，如何讓你的模型在機(jī)器上既準(zhǔn)確又簡(jiǎn)單呢？

Teacher — Student模型

這就引出了 Teacher-Student 模型或“知識(shí)蒸餾”的概念。在知識(shí)蒸餾中，我們?cè)谝粋€(gè)更大的已經(jīng)訓(xùn)練好的教師模型上訓(xùn)練一個(gè)更小的學(xué)生模型。

這里我們使用來(lái)自教師模型的軟標(biāo)簽/概率，并將其作為學(xué)生模型的訓(xùn)練數(shù)據(jù)。

關(guān)鍵是，老師輸出類別概率 —— “軟標(biāo)簽”而不是“硬標(biāo)簽”。例如，一個(gè)水果分類器可能會(huì)說(shuō)“Apple 0.9, Pear 0.1”而不是“Apple 1.0, Pear 0.0”。為什么要這樣呢？因?yàn)檫@些“軟標(biāo)簽”比原來(lái)的標(biāo)簽信息更豐富——告訴學(xué)生，是的，這個(gè)蘋(píng)果確實(shí)有點(diǎn)像梨。學(xué)生模型通?？梢苑浅＝咏處熕降谋憩F(xiàn)，即使參數(shù)少了 1-2 個(gè)數(shù)量級(jí)！

學(xué)習(xí)：有時(shí)，我們的預(yù)測(cè)時(shí)間很有限，所以我們想要一個(gè)更輕的模型。我們可以嘗試構(gòu)建更簡(jiǎn)單的模型，或者嘗試對(duì)這樣的用例使用知識(shí)蒸餾。

5. 周期性的維護(hù)和反饋

世界不是恒定的，你的模型權(quán)重也不是恒定的

我們周圍的世界正在迅速變化，兩個(gè)月前可能適用的東西現(xiàn)在可能已經(jīng)不適用了。在某種程度上，我們建立的模型是對(duì)世界的反映，如果世界在變化，我們的模型應(yīng)該能夠反映這種變化。

模型性能通常隨時(shí)間而下降。

由于這個(gè)原因，我們必須在一開(kāi)始就考慮將我們的模型升級(jí)作為維護(hù)的一部分

維護(hù)周期的頻率完全取決于你試圖解決的業(yè)務(wù)問(wèn)題。在一個(gè)廣告預(yù)測(cè)系統(tǒng)中，用戶往往變化無(wú)常，購(gòu)買模式不斷出現(xiàn)，需要相當(dāng)高的頻率。而在評(píng)論情緒分析系統(tǒng)中，由于語(yǔ)言本身的結(jié)構(gòu)變化不是很大，所以頻率不需要那么高。

我還必須要承認(rèn)反饋回路在機(jī)器學(xué)習(xí)系統(tǒng)中的重要性。假設(shè)你用貓狗分類器預(yù)測(cè)了一個(gè)的圖像是狗，但是概率很低。我們能從這些低置信度的例子中學(xué)到什么嗎？你可以將其發(fā)送到手動(dòng)檢查，以檢查它是否可以用于重新訓(xùn)練模型。通過(guò)這種方式，我們可以在它不確定的樣本上訓(xùn)練分類器。

學(xué)習(xí)：在考慮生產(chǎn)時(shí)，提出使用反饋來(lái)維護(hù)和改進(jìn)模型的計(jì)劃。

總結(jié)

在考慮將模型投入生產(chǎn)之前，我發(fā)現(xiàn)這些事情是很重要的。

雖然這并不是你需要考慮的事情和可能出錯(cuò)的事情的詳盡列表，但它無(wú)疑可以作為你下次創(chuàng)建機(jī)器學(xué)習(xí)系統(tǒng)時(shí)的思想食糧。