在眾多機器學習分類算法中，本篇我們提到的樸素貝葉斯模型，和其他絕大多數分類算法都不同，也是很重要的模型之一。

樸素貝葉斯是一個非常直觀的模型，在很多領域有廣泛的應用，比如早期的文本分類，很多時候會用它作為 baseline 模型，本篇內容我們對樸素貝葉斯算法原理做展開介紹。

1.樸素貝葉斯算法核心思想

貝葉斯分類是一類分類算法的總稱，這類算法均以貝葉斯定理為基礎，故統稱為貝葉斯分類。而樸素貝葉斯（Naive Bayes）分類是貝葉斯分類中最簡單，也是常見的一種分類方法。

樸素貝葉斯算法的核心思想是通過考慮特征概率來預測分類，即對于給出的待分類樣本，求解在此樣本出現的條件下各個類別出現的概率，哪個最大，就認為此待分類樣本屬于哪個類別。

舉個例子：眼前有100個西瓜，好瓜和壞瓜個數差不多，現在要用這些西瓜來訓練一個『壞瓜識別器』，我們要怎么辦呢？

一般挑西瓜時通常要『敲一敲』，聽聽聲音，是清脆聲、濁響聲、還是沉悶聲。所以，我們先簡單點考慮這個問題，只用敲擊的聲音來辨別西瓜的好壞。根據經驗，敲擊聲『清脆』說明西瓜還不夠熟，敲擊聲『沉悶』說明西瓜成熟度好，更甜更好吃。

所以，壞西瓜的敲擊聲是『清脆』的概率更大，好西瓜的敲擊聲是『沉悶』的概率更大。當然這并不絕對——我們千挑萬選地『沉悶』瓜也可能并沒熟，這就是噪聲了。當然，在實際生活中，除了敲擊聲，我們還有其他可能特征來幫助判斷，例如色澤、跟蒂、品類等。

樸素貝葉斯把類似『敲擊聲』這樣的特征概率化，構成一個『西瓜的品質向量』以及對應的『好瓜/壞瓜標簽』，訓練出一個標準的『基于統計概率的好壞瓜模型』，這些模型都是各個特征概率構成的。

這樣，在面對未知品質的西瓜時，我們迅速獲取了特征，分別輸入『好瓜模型』和『壞瓜模型』，得到兩個概率值。如果『壞瓜模型』輸出的概率值大一些，那這個瓜很有可能就是個壞瓜。

2.貝葉斯公式與條件獨立假設

貝葉斯定理中很重要的概念是先驗概率、后驗概率和條件概率。（關于這部分依賴的數學知識，大家可以查看ShowMeAI的文章 圖解AI數學基礎 | 概率與統計，也可以下載我們的速查手冊 AI知識技能速查 | 數學基礎-概率統計知識）(鏈接見文末)。

1）先驗概率與后驗概率

2）貝葉斯公式

簡單來說，貝葉斯定理（Bayes Theorem，也稱貝葉斯公式）是基于假設的先驗概率、給定假設下觀察到不同數據的概率，提供了一種計算后驗概率的方法。在人工智能領域，有一些概率型模型會依托于貝葉斯定理，比如我們今天的主角『樸素貝葉斯模型』。

3）條件獨立假設與樸素貝葉斯

基于貝葉斯定理的貝葉斯模型是一類簡單常用的分類算法。在『假設待分類項的各個屬性相互獨立』的情況下，構造出來的分類算法就稱為樸素的，即樸素貝葉斯算法。

所謂『樸素』，是假定所有輸入事件之間是相互獨立。進行這個假設是因為獨立事件間的概率計算更簡單。

要求出第四項中的后驗概率，就需要分別求出在第三項中的各個條件概率，其步驟是：

總結一下，樸素貝葉斯模型的分類過程如下流程圖所示：

3.伯努利與多項式樸素貝葉斯

1）多項式vs伯努利樸素貝葉斯

大家在一些資料中，會看到『多項式樸素貝葉斯』和『伯努利樸素貝葉斯』這樣的細分名稱，我們在這里基于文本分類來給大家解釋一下：

如果直接以單詞的頻次參與統計計算，那就是多項式樸素貝葉斯的形態。

如果以是否出現(0和1)參與統計計算，就是伯努利樸素貝葉斯的形態。

（1）多項式樸素貝葉斯

（2）伯努利樸素貝葉斯

對應的，在伯努利樸素貝葉斯里，我們假設各個特征在各個類別下是服從n重伯努利分布（二項分布）的，因為伯努利試驗僅有兩個結果，因此，算法會首先對特征值進行二值化處理（假設二值化的結果為1與0）。

2）樸素貝葉斯與連續值特征

我們發現在之前的概率統計方式，都是基于離散值的。如果遇到連續型變量特征，怎么辦呢？

以人的身高，物體的長度為例。一種處理方式是：把它轉換成離散型的值。比如：

回到上述例子，如果身高是我們判定人性別（男/女）的特征之一，我們可以假設男性和女性的身高服從正態分布，通過樣本計算出身高均值和方差，對應上圖中公式就得到正態分布的密度函數。有了密度函數，遇到新的身高值就可以直接代入，算出密度函數的值。

4.平滑處理

1）為什么需要平滑處理

使用樸素貝葉斯，有時候會面臨零概率問題。零概率問題，指的是在計算實例的概率時，如果某個量，在觀察樣本庫（訓練集）中沒有出現過，會導致整個實例的概率結果是0。

在文本分類的問題中，當『一個詞語沒有在訓練樣本中出現』時，這個詞基于公式統計計算得到的條件概率為0，使用連乘計算文本出現概率時也為0。這是不合理的，不能因為一個事件沒有觀察到就武斷的認為該事件的概率是0。

2）拉普拉斯平滑及依據

審核編輯：劉清