樸素貝葉斯

聯合概率 P(A,B) = P(B|A)*P(A) = P(A|B)*P(B)將右邊兩個式子聯合得到下面的式子：

P(A|B)表示在B發生的情況下A發生的概率。P(A|B) = [P(B|A)*P(A)] / P(B)

直觀理解一下這個式子，如下圖，問題A在我們知道B信息之后概率發生了變化(圖片來自于小白之通俗易懂的貝葉斯定理（Bayes’ Theorem）

1.后驗概率推導

? 樸素貝葉斯條件：向量X的每一個特征項是獨立同分布，這個條件過于寬泛，但是為了計算簡便，我們嘗試使用一下，用了之后發現效果還不錯，那就用著吧

2.極大似然估計求取分類器y值

? 還記得原先求不同類別下的最大概率這一式子嗎（分類器y）？里面有很多的連乘記得嗎？

? 這里提出了一個問題，那么多概率連乘，如果其中有一個概率為0怎么辦？那整個式子直接就是0了，這樣不對。所以我們連乘中的每一項都得想辦法讓它保證不是0，哪怕它原先是0,（如果原先是0，表示在所有連乘項中它概率最小，那么轉換完以后只要仍然保證它的值最小，對于結果的大小來說沒有影響）這里就使用到了貝葉斯估計。

? 做這種變換是為了每一個概率不為0，從而對于y這個連乘的式子沒有影響，但是為了保持概率值之和依舊為1，才演變成上面的式子

3.例題理解

3.1樸素貝葉斯

3.2貝葉斯估計

4.補充

? 在實際運用中，不光需要使用貝葉斯估計（保證概率不為0），同時也要取對數（保證連乘結果不下溢出）。

為什么?

? 由于連乘項都是0-1之間的，那很多個（特征個數）0-1之間的數相乘，最后的數一定是非常非常小了，可能無限接近于0。對于程序而言過于接近0的數可能會造成下溢出，也就是精度不夠表達了。所以我們會給整個連乘項取對數，這樣哪怕所有連乘最后結果無限接近0，那取完log以后數也會變得很大（雖然是負的很大），計算機就可以表示了。

取完log以后結果會不會發生變化?

? 答案是不會的。log在定義域內是遞增函數，log(x)中的x也是遞增函數。在單調性相同的情況下，連乘得到的結果大，log取完也同樣大，并不影響不同的連乘結果的大小的比較

5.代碼復現(jupyter)

#下載minist手寫數據集,并加載
import tensorflow as tf
mnist = tf.keras.datasets.mnist
(X_train, y_train), (X_test, y_test) = mnist.load_data()

#X_train.shape is (60000, 28, 28)
#y_train.shape is (60000,)
#我們將數據展開一下
X_train = X_train.reshape(-1 , 28*28)
y_train = y_train.reshape(-1 , 1)
X_test = X_test.reshape(-1 , 28*28)
y_test = y_test.reshape(-1 , 1)

#為了簡便，我們將手寫數據圖片二值化一下
X_train[X_train <  128] = 0
X_train[X_train >= 128] = 1
X_test[X_test <  128] = 0
X_test[X_test >= 128] = 1

import numpy as np
#根據公式計算先驗概率P_y，利用拉普拉斯平滑λ=1，并對連乘公式取log
P_y = np.zeros((10 , 1))
classes = 10
for i in range(classes):
    P_y[i] = ((np.sum(y_train == i))+1)/(len(y_train)+classes)
P_y = np.log(P_y)
print(P_y)

#計算條件概率Px_y
#這個模塊實現求取各個特征值的個數
Px_y = np.zeros((classes , X_train.shape[1] , 2))
for i in range(X_train.shape[0]):
    k = y_train[i]
    x = X_train[i]
    for feature in range(X_train.shape[1]):
        Px_y[k,feature,x[f]] += 1       

#開始計算條件概率Px_y
#
for index in range(classes):
    for f in range(X_train.shape[1]):
        Px_y[index , f , 0] = (Px_y[index , f , 0] + 1) / (np.sum(y_train == index) + 2)
        Px_y[index , f , 1] = (Px_y[index , f , 1] + 1) / (np.sum(y_train == index) + 2)
#為了把連乘變成連加，我們對Px_y取一個log對數
Px_y = np.log(Px_y)
#拿一個出來看看
print(Px_y[0])

#我們預測的最終結果放在predict中
#每一個數據在10個分類器的結果放在res中，取一個argmax就得到一個預測值
predict = np.zeros((y_test.shape[0],1))
for data in range(y_test.shape[0]):
    res = np.zeros((classes , 1))
    for i in range(classes):
        res[i] = P_y[i]
        for f in range(X_train.shape[1]):
            res[i] += Px_y[i,f,X_test[data,f]]
    predict[data] = np.argmax(res)
predict = predict.astype(int)
#取兩個拿出來對比一下
print(predict[:5])
print(y_test[:5])

#預測一下準確率
precision = np.sum(predict == y_test) / y_test.shape[0]
print(precision)

覺得有用就請點個贊吧

參考文章：
李航統計學習方法第二版
統計學習方法|樸素貝葉斯原理剖析及實現