目標函數

★ 1. Masked Language Model, MLM

MLM 是為了訓練深度雙向語言表示向量，BERT 用了一個非常直接的方式，遮住句子里某些單詞，讓編碼器預測這個單詞是什么。具體操作流程如下圖示例：先按一個較小概率 mask 掉一些字，再對這些字利用語言模型由上下文做預測。

BERT 具體訓練方法為：隨機遮住15%的單詞作為訓練樣本。

• 其中80%用 masked token 來代替。
• 10%用隨機的一個詞來替換。
• 10%保持這個詞不變。

直觀上來說，只有15%的詞被遮蓋的原因是性能開銷，雙向編碼器比單向編碼器訓練要慢；選80% mask，20%具體單詞的原因是在 pretrain 的時候做了 mask，在特定任務微調如分類任務的時候，并不對輸入序列做 mask，會產生 gap，任務不一致；10%用隨機的一個詞來替換，10%保持這個詞不變的原因是讓編碼器不知道哪些詞需要預測的，哪些詞是錯誤的，因此被迫需要學習每一個 token 的表示向量，做了一個折中。

★ 2. Next Sentence Prediction

預訓練一個二分類的模型，來學習句子之間的關系。預測下一個句子的方法對學習句子之間關系很有幫助。

訓練方法：正樣本和負樣本比例是1：1，50%的句子是正樣本，即給定句子A和B，B是A的實際語境下一句；負樣本：在語料庫中隨機選擇的句子作為B。通過兩個特定的 token[CLS]和[SEP]來串接兩個句子，該任務在[CLS]位置輸出預測。

輸入表示

Input： 每個輸入序列的第一個 token [CLS]專門用來分類，直接利用此位置的最后輸出作為分類任務的輸入 embedding。

從直觀上來說，在預訓練時，[CLS]不參與 mask，因而該位置面向整個序列的所有position 做 attention，[CLS]位置的輸出足夠表達整個句子的信息，類似于一個global feature；而單詞 token 對應的 embedding 更關注該 token 的語義語法及上下文信息表達，類似于一個 local feature。

Position Embeddings: transformer 的 PositionEncoding 是通過 sin，cos 直接構造出來的，PositionEmbeddings 是通過模型學習到的 embedding 向量，最高支持512維。

Segment Embeddings： 在預訓練的句對預測任務及問答、相似匹配等任務中，需要對前后句子做區分，將句對輸入同一序列，以特殊標記 [SEP] 分割，同時對第一個句子的每個 token 添加 Sentence A Embedding， 第二個句子添加 Sentence BEmbedding，實驗中讓EA =1, EB =0。

Fine-tune

針對不同任務，BERT 采用不同部分的輸出做預測，分類任務利用[CLS]位置的embedding，NER 任務利用每個 token 的輸出 embedding。

BERT的主要貢獻有以下幾個方面：

預訓練的有效性： 這方面來說 BERT 改變了游戲規則，是因為相比設計復雜巧妙的網絡結構，在海量無監督數據上預訓練得到的BERT語言表示+少量訓練數據微調的簡單網絡模型的實驗結果取得了很大的優勢。

網絡深度： 基于 DNN 語言模型 (NNLM，CBOW等) 獲取詞向量的表示已經在 NLP領域獲得很大成功，而 BERT 預訓練網絡基于 Transformer 的 Encoder，可以做的很深。

雙向語言模型： 在 BERT 之前，ELMo 和 GPT 的主要局限在于標準語言模型是單向的，GPT 使用 Transformer 的 Decoder 結構，只考慮了上文的信息。ELMo 從左往右的語言模型和從右往左的語言模型其實是獨立開來訓練的，共享 embedding，將兩個方向的 LSTM 拼接并不能真正表示上下文，其本質仍是單向的，且多層 LSTM難訓練。

目標函數： 對比語言模型任務只做預測下一個位置的單詞，想要訓練包含更多信息的語言模型，就需要讓語言模型完成更復雜的任務，BERT 主要完成完形填空和句對預測的任務，即兩個 loss：一個是 Masked Language Model，另一個是 Next Sentence Prediction。

總結

我們在做 NLU 意圖分類任務中實踐了以上主流模型，包括 Xgboost、TextCNN、LSTM、BERT 及 ERNIE 等，下邊是在前期模型調研階段，在選型測試數據上的對比實驗，BERT 模型表現出極大的優勢。

同時在我們部署上線的過程中，對 BERT 時耗做了測試，在壓測實驗數據上的測試結果供參考。針對我們的問答query：

(1 ) BERT layer 的層數與時耗基本成線性關系，多頭數目增加對時耗增加不明顯；

(2) 針對短文本 query 的意圖理解，更多依賴淺層語法語義特征，因而 BERT 層數對模型準召影響較小；

(3) attention 多頭決定了可以從多少個角度理解 query，在我們的實驗里降低多頭數比降低層數對準召的影響略大，而時耗無明顯降低。

圖像領域，Alexnet 打開了深度學習的大門，Resnet是圖像領域深度學習的殿堂標志。

隨著Transformer, Bert 興起，網絡也在往12層，24層發展，得到了 SOTA. Bert 證明了在nlp領域，深層網絡的效果要優于淺層網絡。

自然語言領域，Transformer 打開了深層網絡的大門，BERT 也成為了自然語言處理領域的殿堂標志。