樸素貝葉斯屬于：概率模型、參數化模型、和生成模型

---

目錄

1.樸素貝葉斯基本方法

2.后驗概率最大化的含義

3.樸素貝葉斯算法：

樸素貝葉斯python實現4.1：

樸素貝葉斯sklearn實現作業4.1

貝葉斯的優缺點：

---

1.樸素貝葉斯基本方法

2.后驗概率最大化的含義

3.樸素貝葉斯算法：

樸素貝葉斯python實現4.1：

class Navie_Bayes():
    def __init__(self, x_train, y_train, x_test, y_test=None):
        self.x, self.y, self.xs, self.ys = x_train, y_train, x_test, y_test 
    
    def fit(self):
        a, b = self.x.shape  
        tmp_x_0, tmp_y_0, tmp_x_1, tmp_y_1 = [], [], [], []
        for i in range(a):
            if self.y[i] == 1:
                tmp_x_0.append(self.x[i])
                tmp_y_0.append(self.y[i])
            else:
                tmp_x_1.append(self.x[i])
                tmp_y_1.append(self.y[i])
                
        # 求先驗概率
        p_ck1 = len(tmp_y_0) / a
        p_ck0 = 1 - p_ck1 
        
        # 求y=1條件概率
        tmp_1, tmp_2, tmp_3 = [], [], []
        tmp_S, tmp_M, tmp_L = [], [], []
        for j in range(len(tmp_y_0)): 
            if int(tmp_x_0[j][0]) == 1:
                tmp_1.append(tmp_x_0[j])
            elif int(tmp_x_0[j][0]) == 2:
                tmp_2.append(tmp_x_0[j])
            else:
                tmp_3.append(tmp_x_0[j])
        for v in range(len(tmp_y_0)): 
            if tmp_x_0[v][1] == 'S':
                tmp_S.append(tmp_x_0[v])
            elif tmp_x_0[v][1] == 'M':
                tmp_M.append(tmp_x_0[v])
            else:
                tmp_L.append(tmp_x_0[v])
        # 求y=-1條件概率
        tmp_1_, tmp_2_, tmp_3_ = [], [], []
        tmp_S_, tmp_M_, tmp_L_ = [], [], []
        for j_ in range(a-len(tmp_y_0)): 
            if int(tmp_x_1[j_][0]) == 1:
                tmp_1_.append(tmp_x_1[j_])
            elif int(tmp_x_1[j_][0]) == 2:
                tmp_2_.append(tmp_x_1[j_])
            else:
                tmp_3_.append(tmp_x_1[j_])
        for v_ in range(a-len(tmp_y_0)): 
            if tmp_x_1[v_][1] == 'S':
                tmp_S_.append(tmp_x_1[v_])
            elif tmp_x_1[v_][1] == 'M':
                tmp_M_.append(tmp_x_1[v_])
            else:
                tmp_L_.append(tmp_x_1[v_])
        # 后驗概率
        p_y1 = p_ck1 * (len(tmp_2)/len(tmp_y_0)) * (len(tmp_S)/len(tmp_y_0))
        p_y2 = p_ck0 * (len(tmp_2_)/(a-len(tmp_y_0))) * (len(tmp_S_)/(a-len(tmp_y_0)))
        if p_y1 > p_y2:
            print('預測結果為：',1)
            return 1
        else:
            print('預測結果為：',-1)
            return -1

def main():
    x_train = np.array([[1, 'S'], [1, 'M'], [1, 'M'], [1, 'S'], [1, 'S'], [2, 'S'], [2, 'M'], [2, 'M'],
                       [2, 'L'], [2, 'L'], [3, 'L'], [3, 'M'], [3, 'M'], [3, 'L'], [3, 'L']])
    y_train = np.array([-1, -1, 1, 1, -1, -1, -1, 1, 1, 1, 1, 1, 1, 1, -1])
    x_test = np.array([2, 'S'])
    navie_bayes = Navie_Bayes(x_train, y_train, x_test)
    navie_bayes.fit()

結果：

樸素貝葉斯sklearn實現作業4.1

# 令s=1，m=2, l=3
x_train = np.array([[1, 1], [1, 2], [1, 2], [1, 1], [1, 1], [2, 1], [2, 2], [2, 2],
                       [2, 3], [2, 3], [3, 3], [3, 2], [3, 2], [3, 3], [3, 3]])
y_train = np.array([-1, -1, 1, 1, -1, -1, -1, 1, 1, 1, 1, 1, 1, 1, -1])
x_test = np.array([2, 2])
navie_bayes_gauss = GaussianNB()
navie_bayes_multi = MultinomialNB(alpha=2.0, class_prior=None, fit_prior=True)
navie_bayes_bou = BernoulliNB(alpha=2.0,binarize = 3.0,fit_prior=True)
tt = [navie_bayes_gauss, navie_bayes_multi, navie_bayes_bou]
tt_str = ['GaussianNB', 'BernoulliNB','MultinomialNB']
for items, name in zip(tt, tt_str):
    items.fit(x_train, y_train)
    xx = items.predict_proba(x_test.reshape(1, -1))
    print('%s 模型的預測概率為:'%name, xx)

貝葉斯的優缺點：

由于貝葉斯是對條件概率分布的條件獨立性假設，那么在數據集比較小的時候它會有比較好的效果，但是當數據集比較大的時候，誤差會隨意數據集的增大而增大，這個時候它的效果可能還不如邏輯回歸等模型。

在小型數據集上，樸素貝葉斯更容易產生偏差，這可以防止其擬合噪聲。