做機器學習需要多少數學基礎？這是很多初學者最關心的問題，答案也眾說紛紜。

有人說，概率論線性代數要預先精通；有人說，微積分要懂一點；也有人說，沒必要特地去補；甚至有人專門寫了繞開數學的深度學習入門教材……

斯坦福大學計算機系學生、斯坦福AI實驗室研究助理（RA）Vincent Chen，最近在硅谷最牛孵化器Y Combinator官方博客上發表的一篇文章，就專門深入探討了里這個問題。

Vincent想要說的是，具體問題具體分析。

他跟領域內的很多工程師、研究人員、教育工作者，討論了這個問題，再加上自己的經驗，得出了這樣的結論：解決不同問題，可能需要不同程度的直覺 (Intuition) ，所以首先要知道自己的目標是什么。

構建產品和做研究，需要的數學就不太一樣。

不過，還是要先從大家都差不多的入門階段說起。

入門須知

熟悉線性代數/矩陣運算，是機器學習的軟性前提。也就是說，最好懂，不強制。

當然，學習數學最好的環境還是學校。沒有了學校里的壓力、競爭和交流，就要找其他方式來補充：學習小組、學習型午餐會都是不錯的形式。

想要在工作中學數學，編程最好也會一點，它會成為你的學習工具。

要知道，在機器學習任務中，數學和代碼是交織在一起的。代碼需要數學上的直覺，甚至和數學符號的語法有共通之處。

舉個例子：練習手動實現損失函數（loss functions）或者優化算法（optimization algorithm），就是真正理解背后概念的好方法。

再舉個比較實際的例子：在神經網絡里手動為線性整流函數（ReLU）實現反向傳播，就涉及用微積分里的鏈式法則來有效計算梯度，而運用鏈式法則，需要用ReLU的梯度乘以一個導數。

最開始，要先將ReLU激活函數可視化：

計算梯度（就是看起來的斜率），要可視化一個階梯函數，用指示函數表示：

現在的數據科學框架能直觀地把數學運算翻譯成可讀的代碼，NumPy就是其中之一。對于上面這個任務，它就可以將激活函數（藍色曲線）用代碼表示出來：

relu = np.maximum(x, 0)

梯度（紅色曲線）也可以：

grad[x < 0] = 0

只有親自求了一遍導數，才能理解這行代碼。

掌握基礎之后，就可以根據你的實際需求自定義學習方向了。

造機器學習產品需要的數學

作為一名學生，Vincent通過和多名機器學習工程師聊天，了解了他們在debug時最有用的數學知識。

總的來說，統計學和線性代數總是有用的，但面對不同的問題又有不同的需求。

那么，怎么確定該精修哪些數學知識呢？

首先，要定義你的系統。

想寫代碼為系統建模，可用的資源多得是。在構建系統的過程中，要想著這些問題：

系統的輸入/輸出是什么？

怎樣準備適合系統的數據？

怎樣構建特征、處理數據能讓模型更好地泛化？

怎樣為你的問題定義合理的目標？

然后，在你用到數學的時候，去學習它。

一頭扎進機器學習里，你就會發現自己會卡在某些步驟。卡住的時候，該查什么呢？你的權重合理嗎？你的模型為什么用這種損失就不收斂？

這時候，就需要對數據做假設，換個方式約束優化，或者換個算法試試。于是在這個建模或者debug過程里，你會發現懂數學對做決定有很大幫助，比如說要選擇損失函數和評價指標，數學就是個好工具。

這可以說是一種“按需”學習的方法了。

做機器學習研究需要的數學

如果是做研究的話，就需要廣泛的數學基礎，來給你鋪路。

現在，很多研究都是在現有系統之上進行的，缺少對基礎的理解。

這樣還不夠，研究者應該貢獻更基本的模塊。比如說，可以像深度學習教父Geoff Hinton提出的膠囊網絡（Capsule Networks）一樣，重新思考卷積神經網絡（CNN）這種基本模塊。

要想在機器學習領域做出這樣的成就，就需要問一些基礎問題，也就需要對數學的深刻理解?！渡窠浘W絡與深度學習》教材的作者Michael Nielsen稱之為“帶著玩心的探索”。

這個探索過程中，可能會在一個問題上卡幾個小時，可能需要換個角度去看問題。不過，只有這樣，科學家才能超越直觀想法和架構的組合，提出深刻、有見地的問題。

和構建產品不一樣的是，機器學習研究里的基礎思考不是“按需”進行的，想要以高級的數學框架所要求的廣度來思考、批判性地解決問題，需要耐心學習。

不要怕

總的來說，數學可能是有點可怕，你會卡在一個又一個地方。但是，這本來就是數學學習很重要的部分。

不要害怕。

實際上，數學好的人都要花好多時間來練習，于是，他們對這種做數學“被卡住”的感覺就習以為常了。想要學好數學，首先需要建立學生的心態。

想要習以為常，當然需要付出時間和努力，加油~