??樸素貝葉斯(naive Bayes)法是基于貝葉斯定理與特征條件獨立假設的分類方法。

---

目錄

---

樸素貝葉斯法

??設輸入空間X?Rn$X?{\mathbb{R}}^n$ 為n$n$ 維向量的集合，輸出空間為類標記集合Y={c1,c2,...,cK}$Y=\left\{c_1,c_2,...,c_K\right\}$ ，輸入特征向量x∈X$x\in X$ ，輸出類標記為y∈Y$y\in Y$ ，P(X,Y)$P(X,Y)$ 是X$X$ 和Y$Y$ 的聯合概率分布，數據集

由P(X,Y)$P(X,Y)$ 獨立同分布產生。

??樸素貝葉斯法就是通過訓練集來學習聯合概率分布P(X,Y)$P(X,Y)$ .具體就是從先驗概率分布和條件概率分布入手，倆概率相乘即可得聯合概率。

??稱之為樸素是因為將條件概率的估計簡化了，對條件概率分布作了條件獨立性假設，這也是樸素貝葉斯法的基石，假設如下

??這個公式在之前的假設條件下等價于

??對于給定的輸入向量x$x$ ,通過學習到的模型計算后驗概率分布P(Y=Ck|X=x)$P(Y=C_k|X=x)$ ，后驗分布中最大的類作為x$x$ 的輸出結果，根據貝葉斯定理可知后驗概率為

??其中∑kP(X=x|Y=ck)P(Y=ck)?P(X=x)$\sum _{k}P(X=x|Y=c_k)P(Y=c_k)?P(X=x)$

??所有ck$c_k$ 的P(X=x)$P(X=x)$ 都是相同的，這樣我們可以把輸出結果化簡成

??這樣，就了解了樸素貝葉斯法的基本原理了，下面要介紹的是參數估計。

參數估計

極大似然估計

??我們已經知道對于給定的輸入向量x$x$ ，其輸出結果可以表示為

??可以使用極大似然估計法來估計相應的概率。先驗概率P(Y=ck)$P(Y=c_k)$ 的極大似然估計是

?? 設第j$j$ 個特征x(j)$x^{(j)}$ 可能的取值的集合為{aj1,aj2,...,ajsj}$\left\{a_{j1},a_{j2},...,a_{j{s}_j}\right\}$ ，條件概率P(X(j)=ajl|Y=ck)$P(X^{(j)}=a_{jl}|Y=c_k)$ 的極大似然估計是

學習與分類算法

??下面給出樸素貝葉斯法的學習與分類算法。

算法 (樸素貝葉斯算法)

輸入: 訓練數據 T={(x1,y1),(x2,y2),...,(xn,yn)}$T=\left\{(x_1,y_1),(x_2,y_2),...,(x_n,y_n)\right\}$ , 其中xi=(x(1)i,x(2)i,...,x(n)i)T$x_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(n)}{)}^T$ ，x(j)i∈{aj1,aj2,...,ajsj}$x_i^{(j)}\in \left\{a_{j1},a_{j2},...,a_{j{s}_j}\right\}$ ，j=1,2,...,n$j=1,2,...,n$ ，l=1,2,...,Sj$l=1,2,...,S_j$ ，yi∈{c1,c2,...,cK}$y_i\in \left\{c_1,c_2,...,c_K\right\}$ ；實例x$x$ ；

輸出: 實例x$x$ 的分類.

(1) 計算先驗概率及條件概率

(2) 對于給定的實例x=(x(1),x(2),...,x(n))T$x=(x^{(1)},x^{(2)},...,x^{(n)}{)}^T$ ，計算

(3) 確定實例x$x$ 的類

例子：試由下表的訓練數據學習一個樸素貝葉斯分類器并確定

的類標記，表中X(1),X(2)$X^{(1)},X^{(2)}$ 為特征，Y$Y$ 為類標記。

python代碼如下:

import numpy as np

#構造NB分類器
def Train(X_train, Y_train, feature):
    global class_num,label
    class_num = 2           #分類數目
    label = [1, -1]         #分類標簽
    feature_len = 3         #特征長度
    #構造3×2的列表
    feature = [[1, 'S'],    
               [2, 'M'],
               [3, 'L']]

    prior_prob = np.zeros(class_num)                         # 初始化先驗概率
    con_prob = np.zeros((class_num,feature_len,2))   # 初始化條件概率

    positive_count = 0     #統計正類
    negative_count = 0     #統計負類
    for i in range(len(Y_train)):
        if Y_train[i] == 1:
            positive_count += 1
        else:
            negative_count += 1
    prior_prob[0] = positive_count / len(Y_train)    #求得正類的先驗概率
    prior_prob[1] = negative_count / len(Y_train)    #求得負類的先驗概率

    '''
    con_prob是一個2*3*2的三維列表，第一維是類別分類，第二維和第三維是一個3*2的特征分類
    '''
    #分為兩個類別
    for i in range(class_num):
        #對特征按行遍歷
        for j in range(feature_len):
            #遍歷數據集，并依次做判斷
            for k in range(len(Y_train)): 
                if Y_train[k] == label[i]: #相同類別
                    if X_train[k][0] == feature[j][0]:
                        con_prob[i][j][0] += 1
                    if X_train[k][1] == feature[j][1]:
                        con_prob[i][j][1] += 1

    class_label_num = [positive_count, negative_count]  #存放各類型的數目
    for i in range(class_num):
        for j in range(feature_len):
            con_prob[i][j][0] = con_prob[i][j][0] / class_label_num[i]  #求得i類j行第一個特征的條件概率 
            con_prob[i][j][1] = con_prob[i][j][1] / class_label_num[i]  #求得i類j行第二個特征的條件概率

    return prior_prob,con_prob

#給定數據進行分類
def Predict(testset, prior_prob, con_prob, feature):
    result = np.zeros(len(label))
    for i in range(class_num):
        for j in range(len(feature)):
            if feature[j][0] == testset[0]:
                conA = con_prob[i][j][0]
            if feature[j][1] == testset[1]:
                conB = con_prob[i][j][1]
        result[i] = conA * conB * prior_prob[i]

    result = np.vstack([result,label])

    return result


def main():
    X_train = [[1, 'S'], [1, 'M'], [1, 'M'], [1, 'S'],  [1, 'S'],
               [2, 'S'], [2, 'M'], [2, 'M'], [2, 'L'],  [2, 'L'],
               [3, 'L'], [3, 'M'], [3, 'M'], [3, 'L'],  [3, 'L']]
    Y_train = [-1, -1, 1, 1, -1, -1, -1, 1, 1, 1, 1, 1, 1, 1, -1]   

    #構造3×2的列表
    feature = [[1, 'S'],    
               [2, 'M'],
               [3, 'L']]

    testset = [2, 'S']

    prior_prob, con_prob= Train(X_train, Y_train, feature)

    result = Predict(testset, prior_prob, con_prob, feature)
    print('The result:',result)

main()

??得到結果:

The result: [[ 0.02222222  0.06666667]
 [ 1.         -1.        ]]

貝葉斯估計

??極大似然估計的一個可能是會出現所要估計的概率值為0的情況，這時會影響到后驗概率的計算結果，解決這一問題的方法是采用貝葉斯估計，具體的只需要在極大似然估計的基礎上加多一個參數即可。

??當λ=0$\lambda =0$ 時就是最大似然估計。常取λ=1$\lambda =1$ ，這時稱為拉普拉斯平滑(Laplace smoothing)。

小結

??樸素貝葉斯法高效，且易于實現，但是其缺點就是分類的性能不一定很高。

參考文章

1. 統計學習方法（四）——樸素貝葉斯法
2. 樸素貝葉斯分類器的應用
3. 李航統計學習方法——算法3樸素貝葉斯法
4. 李航《統計學習方法》樸素貝葉斯分類器實現