樸素貝葉斯方法是基于貝葉斯定理與特征條件獨立假設的分類方法。認為樣本的特征X與標簽y服從聯合概率分布P(X, y)，所有的樣本都是基于這個概率分布產生的。由于條件概率P(X=x|Y=y)的參數具有指數數量級，因此進行估算切實際。貝葉斯法對條件概率分布做了條件獨立性假設，從而減少了模型的復雜性，增加了模型的泛化能力，減少了過擬合的風險。

#后驗概率最大化
可以證明，期望風險最小化準則可以得到后驗概率最大化準則，而期望風險最小化就是貝葉斯法的損失函數，因而在求解過程中，只要求得是樣本后驗概率最大的類，將之作為樣本的類別即可。

代碼如下：

import numpy as np
from collections import Counter

X = np.array([[1, 'S'], [1, 'M'], [1, 'M'], [1, 'S'], [1, 'S'], [2, 'S'], [2, 'M'], [2, 'M'], [2, 'L'], [2, 'L'], [3, 'L'], [3, 'M'], [3, 'M'], [3, 'L'], [3, 'L']])
y = [-1, -1, 1, 1, -1, -1, -1, 1, 1, 1, 1, 1, 1, 1, -1]

#計算先驗概率
y_list = Counter(y)
n_back = dict(y_list) #各類別的數量
p_1 = n_back[-1]/len(y)
p1 = n_back[1]/len(y)
print('類別為-1的概率為：{}'.format(p_1))
print('類別為 1的概率為：{}'.format(p1))
dic = {}
#計算條件概率
X1 = ['1', '2', '3']#第一個屬性包含的類型
X2 = ['S', 'M', 'L']#第二個屬性包含的類型

for i in X1:#計算X1屬性中的條件概率
    t = []
    for j in range(len(y)):
        if y[j] == -1:
            t.append(j)
    m = 0
    for j in t:
        if X[j][0] == i:
            m += 1
    print('P(X1={}|Y=-1)={}/6'.format(i, m))
    dic['P(X1={}|Y=-1)'.format(i)] = m/6 #將結果以字典形式存起來
    t2 = []
    for j in range(len(y)):
        if y[j] == 1:
            t2.append(j)
    m = 0
    for j in t2:
        if X[j][0] == i:
            m += 1
    print('P(X1={}|Y=1)={}/9'.format(i, m))
    dic['P(X1={}|Y=1)'.format(i)] = m/9 #將結果以字典形式存起來


for i in X2:#計算X1屬性中的條件概率
    t = []
    for j in range(len(y)):
        if y[j] == -1:
            t.append(j)
    m = 0
    for j in t:
        if X[j][1] == i:
            m += 1
    print('P(X2={}|Y=-1)={}/6'.format(i, m))
    dic['P(X2={}|Y=-1)'.format(i)] = m/6 #將結果以字典形式存起來
    t2 = []
    for j in range(len(y)):
        if y[j] == 1:
            t2.append(j)
    m = 0
    for j in t2:
        if X[j][1] == i:
            m += 1
    print('P(X2={}|Y=1)={}/9'.format(i, m))
    dic['P(X2={}|Y=1)'.format(i)] = m/9 #將結果以字典形式存起來

輸出的結果即為樸素貝葉斯法的前驗概率和條件概率，如下圖所示：

對于新來樣本的判斷，需要將之前計算出的先驗概率與條件概率存儲起來，然后用于新來樣本的計算。
假設新來樣本為x = [‘2’, ‘S’]，則計算出新來樣本對于所有種類的后驗概率，選擇后驗概率最大所對應的類別，作為新來樣本的類別。
代碼如下：

x = ['2', 'S']
f1 = p1 * dic['P(X1=2|Y=1)'] * dic['P(X2=S|Y=1)']
f_1 = p_1 * dic['P(X1=2|Y=-1)'] * dic['P(X2=S|Y=-1)']
print('x屬于1的概率為{}'.format(f1))
print('x屬于-1的概率為{}'.format(f_1))

輸出結果：

由于x屬于-1類的后驗概率較大，因此判斷x屬于-1類。