近日 Facebook 研究團(tuán)隊公開一篇 HPCA 2018 論文，作者包括 Caffe 作者賈揚(yáng)清等人，深度揭示了Facebook 內(nèi)部支持機(jī)器學(xué)習(xí)的硬件和軟件基礎(chǔ)架構(gòu)。Facebook 的幾乎所有的服務(wù)都廣泛應(yīng)用機(jī)器學(xué)習(xí)，其中計算機(jī)視覺只占資源需求的一小部分。此外，F(xiàn)acebook依賴多種機(jī)器學(xué)習(xí)方法，包括但不限于神經(jīng)網(wǎng)絡(luò)。硬件方面，用CPU 做推理，CPU 和 GPU都用于訓(xùn)練，并且進(jìn)行大規(guī)模分布式訓(xùn)練。

機(jī)器學(xué)習(xí)是 Facebook 的許多重要產(chǎn)品和服務(wù)的核心。這篇文章描述了 Facebook 在全球范圍里支持機(jī)器學(xué)習(xí)的硬件和軟件基礎(chǔ)架構(gòu)。Facebook 的機(jī)器學(xué)習(xí)工作負(fù)載非常多樣化：在實踐中，不同的服務(wù)需要多種不同類型的模型。這種多樣性對系統(tǒng)堆棧里的所有層都有影響。此外，在 Facebook 上存儲的大部分?jǐn)?shù)據(jù)都是通過機(jī)器學(xué)習(xí)流程傳輸?shù)?，這在向高性能分布式訓(xùn)練流交付數(shù)據(jù)方面提出了嚴(yán)峻的挑戰(zhàn)。計算需求也很大，需要利用GPU和CPU平臺進(jìn)行訓(xùn)練，并將大量CPU容量用于實時推理。解決這些問題以及其他層出不窮的新挑戰(zhàn)需要各方面的努力，包括機(jī)器學(xué)習(xí)算法、軟件和硬件設(shè)計。

為20億用戶提供機(jī)器學(xué)習(xí)服務(wù)，F(xiàn)acebook如何處理計算和數(shù)據(jù)

截至2017年12月，F(xiàn)acebook 的用戶已經(jīng)超過20億人。過去幾年中，機(jī)器學(xué)習(xí)被應(yīng)用于這個大規(guī)模的實際問題，形成了機(jī)器學(xué)習(xí)算法創(chuàng)新的良性循環(huán)，為模型提供了大量訓(xùn)練數(shù)據(jù)，并在高性能計算機(jī)體系結(jié)構(gòu)的助力下取得進(jìn)步。在 Facebook 上，機(jī)器學(xué)習(xí)提供了幾乎所有用戶體驗方面的關(guān)鍵能力，包括News Feed，語音和文本翻譯，照片和實時視頻分類等。

Facebook 在這些服務(wù)中利用了各種各樣的機(jī)器學(xué)習(xí)算法，包括支持向量機(jī)，梯度提升決策樹和許多類型的神經(jīng)網(wǎng)絡(luò)。本文將描述在 Facebook 上支持機(jī)器學(xué)習(xí)的數(shù)據(jù)中心基礎(chǔ)架構(gòu)的幾個重要方面?；A(chǔ)架構(gòu)包括內(nèi)部的“ML-as-a-Service”流，開源機(jī)器學(xué)習(xí)框架和分布式訓(xùn)練算法。從硬件角度來看，F(xiàn)acebook 利用大量的 CPU 和 GPU 平臺來訓(xùn)練模型，以便在所需服務(wù)延遲時間內(nèi)支持必要的訓(xùn)練頻率。對于機(jī)器學(xué)習(xí)推理，F(xiàn)acebook 主要依靠 CPU 來處理所有神經(jīng)網(wǎng)絡(luò)排名服務(wù)的主要功能，例如 News Feed，這些服務(wù)占據(jù)了所有計算負(fù)載的大部分。

Facebook 通過機(jī)器學(xué)習(xí)流程將所有存儲數(shù)據(jù)的很大一部分匯集起來，而且這個比例隨著時間的推移不斷增加，從而提高模型質(zhì)量。機(jī)器學(xué)習(xí)服務(wù)所需的大量數(shù)據(jù)對 Facebook 數(shù)據(jù)中心的全球規(guī)模提出了挑戰(zhàn)。有幾種技術(shù)被用來高效地向模型提供數(shù)據(jù)，包括數(shù)據(jù)饋送和訓(xùn)練的解耦，數(shù)據(jù)/計算協(xié)同定位和網(wǎng)絡(luò)優(yōu)化。與此同時，F(xiàn)acebook 的規(guī)模也提供了獨特的機(jī)會。在非高峰期間，日負(fù)載周期為分布式訓(xùn)練算法提供了大量可用的CPU。Facebook 的計算fleet遍布10個數(shù)據(jù)中心，規(guī)模也提供了災(zāi)難恢復(fù)能力。災(zāi)難恢復(fù)規(guī)劃是很重要的，因為及時交付新的機(jī)器學(xué)習(xí)模型對于 Facebook 的運(yùn)營非常重要。

展望未來，F(xiàn)acebook 預(yù)計在現(xiàn)有的功能以及新的服務(wù)上，機(jī)器學(xué)習(xí)都將快速增長。對于部署這些服務(wù)的基礎(chǔ)架構(gòu)的團(tuán)隊來說，這種增長意味著更多挑戰(zhàn)。盡管在現(xiàn)有平臺上優(yōu)化基礎(chǔ)架構(gòu)有好處，但我們?nèi)匀辉诜e極評估和創(chuàng)建新的硬件解決方案，同時保持算法創(chuàng)新。

關(guān)于 Facebook 的機(jī)器學(xué)習(xí)的主要見解：

機(jī)器學(xué)習(xí)在 Facebook 的幾乎所有的服務(wù)中都有廣泛應(yīng)用，計算機(jī)視覺只占資源需求的一小部分。

Facebook依賴多種機(jī)器學(xué)習(xí)方法，包括但不限于神經(jīng)網(wǎng)絡(luò)。

大量數(shù)據(jù)都是通過機(jī)器學(xué)習(xí)流程傳送，而這會在計算節(jié)點之外造成工程和效率方面的損失。

Facebook 目前在很大程度上依賴 CPU 做推理，CPU 和 GPU 都用于訓(xùn)練，但從性能功耗比的角度看，它不斷對新的硬件解決方案進(jìn)行原型設(shè)計和評估。

Facebook 的全球用戶規(guī)模以及相應(yīng)的日活動模式導(dǎo)致大量的機(jī)器可以用于機(jī)器學(xué)習(xí)任務(wù)，例如大規(guī)模分布式訓(xùn)練。

Facebook 上的機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)（ML）是指產(chǎn)品利用一系列輸入來構(gòu)建一個調(diào)優(yōu)模型的實例，并利用該模型創(chuàng)建表示、預(yù)測或其他形式的有用信號。

圖1表示了這個過程，由以下步驟組成，依次執(zhí)行：

1）建立模型的訓(xùn)練階段。這個階段通常是離線執(zhí)行的。

2）在生產(chǎn)中運(yùn)行訓(xùn)練模型的推理階段，并進(jìn)行一個（一組）實時預(yù)測。這一階段是在線執(zhí)行的。

Facebook 上機(jī)器學(xué)習(xí)的一個顯著特點是受到可能用于訓(xùn)練模型的海量數(shù)據(jù)的影響。這個數(shù)據(jù)的規(guī)模會產(chǎn)生很多英雄，涉及整個基礎(chǔ)架構(gòu)。

利用機(jī)器學(xué)習(xí)的主要服務(wù)：

Facebook 的大部分產(chǎn)品和服務(wù)都利用機(jī)器學(xué)習(xí)，包括：

News Feed：排名算法讓用戶每次訪問 Facebook 時首先看到與他們最為相關(guān)的故事。

廣告（Ads）：利用ML來向用戶定向顯示廣告。

搜索：在各種垂直領(lǐng)域提供專門的子搜索，例如視頻、照片、人物、事件等等。

Sigma：一個通用的分類和異常檢測框架，用于各種內(nèi)部應(yīng)用，包括站點完整性，垃圾郵件檢測，支付，注冊，未經(jīng)授權(quán)的員工訪問以及事件推薦。

Lumos：從圖像及其內(nèi)容中提取高級屬性和嵌入，使算法能夠自動理解圖像。

Facer：是 Facebook 的面部檢測和識別框架。

語言翻譯：用于 Facebook 的內(nèi)容國際化服務(wù)。

語音識別：是將音頻流轉(zhuǎn)換成文本的服務(wù)。

除了上面提到的主要產(chǎn)品之外，還有更多的長尾服務(wù)利用各種形式的機(jī)器學(xué)習(xí)。產(chǎn)品和服務(wù)的長尾數(shù)量達(dá)數(shù)百個。

機(jī)器學(xué)習(xí)模型

所有基于機(jī)器學(xué)習(xí)的服務(wù)都使用“特征”（或輸入）來產(chǎn)生量化輸出。在 Facebook 上使用的機(jī)器學(xué)習(xí)算法包括 Logistic回歸（LR），支持向量機(jī)（SVM），梯度提升決策樹（GBDT）和深度神經(jīng)網(wǎng)絡(luò)（DNN）。LR和SVM是用于訓(xùn)練和使用預(yù)測的有效方法。GBDT可以通過額外的計算資源來提高準(zhǔn)確性。DNN是最具表現(xiàn)力的，可能提供最高的準(zhǔn)確性，但是利用的資源也最多（至少比LR和SVM等線性模型需要的計算量多一個數(shù)量級）。這三種類型都對應(yīng)具有越來越多的自由參數(shù)的模型，這些模型必須通過對有標(biāo)簽的輸入樣本預(yù)測精度進(jìn)行優(yōu)化來訓(xùn)練。

在深度神經(jīng)網(wǎng)絡(luò)中，有3個常用的類：多層感知器（MLP），卷積神經(jīng)網(wǎng)絡(luò)（CNN）和遞歸神經(jīng)網(wǎng)絡(luò)（RNN / LSTM）。MLP網(wǎng)絡(luò)通常用于結(jié)構(gòu)化輸入特征（通常是排名），CNN作為空間處理器使用（通常用于圖像處理），而RNN / LSTM網(wǎng)絡(luò)是序列處理器（通常用于語言處理）。表1說明了這些ML模型類型和對應(yīng)的產(chǎn)品/服務(wù)。

表1：利用機(jī)器學(xué)習(xí)算法的產(chǎn)品/服務(wù)

Facebook 里的 ML-as-a-Service

Facebook 有一些內(nèi)部的平臺和工具包，旨在簡化產(chǎn)品中利用機(jī)器學(xué)習(xí)的任務(wù)。主要包括FBLearner，Caffe2 和 PyTorch。FBLearner 是三個工具的suit，每個工具都專注于機(jī)器學(xué)習(xí)流程的不同部分。FB Learner 利用內(nèi)部作業(yè)調(diào)度程序在共享的 GPU 和 CPU 池上分配資源和調(diào)度作業(yè)，如圖1所示。Facebook上的大多數(shù)ML訓(xùn)練都是通過FBLearner平臺運(yùn)行的。這些工具和平臺一起工作，旨在提高M(jìn)L工程師的效率，幫助他們專注于算法創(chuàng)新。

FBLearner Feature Store：Feature Store 本質(zhì)上是一個可用于訓(xùn)練和實時預(yù)測的幾個特征生成器的目錄（catalog），它可以作為一個marketplace，多個團(tuán)隊可以使用它來共享和發(fā)現(xiàn)特征。

FBLearner Flow：是 Facebook 的機(jī)器學(xué)習(xí)平臺，用于模型訓(xùn)練。

FBLearner Predictor：是 Facebook 的內(nèi)部推理引擎，它使用在 Flow 中訓(xùn)練的模型來實時提供預(yù)測。

深度學(xué)習(xí)框架

對于深度學(xué)習(xí)，F(xiàn)acebook 使用兩個截然不同但協(xié)同作用的框架：針對研究優(yōu)化的 PyTorch，以及針對生產(chǎn)優(yōu)化的 Caffe2。

Caffe2：是 Facebook 的內(nèi)部生產(chǎn)框架，用于訓(xùn)練和部署大規(guī)模機(jī)器學(xué)習(xí)模型。Caffe2 專注于產(chǎn)品所需的幾個關(guān)鍵特性：性能，跨平臺支持，以及基本機(jī)器學(xué)習(xí)算法的覆蓋范圍，例如卷積神經(jīng)網(wǎng)絡(luò)（CNN），遞歸神經(jīng)網(wǎng)絡(luò)（RNN）和多層感知器（MLP）等，這些算法具有稀疏或密集的連接，高達(dá)數(shù)百億的參數(shù)。Caffe2 的設(shè)計涉及模塊化方法，在所有后端實現(xiàn)（CPU，GPU和加速器）之間共享統(tǒng)一的圖形表示。獨立的執(zhí)行引擎為不同的圖形執(zhí)行需求提供服務(wù)，Caffe2 在不同的平臺上引入第三方庫（例如，cuDNN，MKL 和 Metal），以在不同平臺上實現(xiàn)最佳運(yùn)行時間。

PyTorch：是 Facebook 在AI研究領(lǐng)域的首選框架。它有一個前端，側(cè)重于靈活性，debug和動態(tài)神經(jīng)網(wǎng)絡(luò)，以進(jìn)行快速實驗。

ONNX：全稱Open Neural Network Exchange（開放神經(jīng)網(wǎng)絡(luò)交換格式），是一種以標(biāo)準(zhǔn)方式表示深度學(xué)習(xí)模型的格式，以實現(xiàn)跨不同框架的互操作性。

Facebook 上機(jī)器學(xué)習(xí)的硬件資源

（詳細(xì)解析見論文原文）

圖2：基于CPU的計算服務(wù)器

圖3：Big Basin GPU服務(wù)器設(shè)計，包括一個3U機(jī)箱的8個GPU。

表2：用于各種工作負(fù)載的脫機(jī)訓(xùn)練使用的頻率、持續(xù)時間和資源。

表3：在線推理工作負(fù)載的資源需求。

圖4：2017年9月19日的24小時里，F(xiàn)acebook的所有fleet的日負(fù)荷。

結(jié)論

基于機(jī)器學(xué)習(xí)的工作負(fù)載越來越重要，其影響涵蓋了系統(tǒng)堆棧的所有部分。對此，計算機(jī)體系結(jié)構(gòu)界對如何最好地應(yīng)對已經(jīng)出現(xiàn)的挑戰(zhàn)表現(xiàn)出越來越大的關(guān)注。雖然以前的工作圍繞有效地處理ML訓(xùn)練和推理的必要計算而展開，但是考慮到在解決方案被大規(guī)模應(yīng)用時出現(xiàn)的額外挑戰(zhàn)，情況會改變。

在 Facebook，我們發(fā)現(xiàn)了幾個關(guān)鍵因素，這些因素在我們的數(shù)據(jù)中心基礎(chǔ)架構(gòu)的設(shè)計過程中起決定性作用：數(shù)據(jù)與計算機(jī)協(xié)同定位的重要性，處理各種ML工作負(fù)載的重要性，不僅僅是計算機(jī)視覺， 以及由于日計算周期的閑置容量而產(chǎn)生的機(jī)會。我們在設(shè)計開源硬件的端到端解決方案時，考慮了上述每個因素，以及平衡性能和可用性的開源軟件生態(tài)系統(tǒng)。這些解決方案為今天服務(wù)超過21億人的大規(guī)模機(jī)器學(xué)習(xí)工作負(fù)載提供了強(qiáng)大的動力，同時也反映了機(jī)器學(xué)習(xí)算法和系統(tǒng)設(shè)計方面專家的跨學(xué)科努力。