統計學習筆記六----樸素貝葉斯

前言

　　樸素貝葉斯（naive Bayes）算法是基于貝葉斯定理和特征條件獨立假設的分類方法，它是一種生成模型！
　　對于給定的訓練數據集，首先基于特征條件獨立假設學習輸入/輸出的聯合概率分布；然后基于此模型，對給定的輸入x，利用貝葉斯定理求出后驗概率最大的輸出y。
　　樸素貝葉斯算法實現簡單，學習與預測的效率都很高，是一種常用的方法。

條件獨立性的假設

樸素貝葉斯法對條件概率分布作了條件獨立性的假設：假設對于樣本用于分類的特征，在類確定的條件下都是條件獨立的（特征是條件獨立的）。這是一個較強的假設，樸素貝葉斯法也由此得名，(樸素：條件獨立性假設)。這一假設使得樸素貝葉斯算法變得簡單，但是有的時候會犧牲一定的分類準確率。

具體地，條件獨立性假設是：

假設每一個樣本X的特征為 $x^{(1)},x^{(2)},...,x^{(n)}$ ,那么在這里的條件獨立性假設是指， $x^{(1)},x^{(2)},...,x^{(n)}$ 之間相互獨立互不影響，即：

$P(x^{(i)}|x^{(j)})=P(x^{(i)}),i\neq j$

如果沒有條件獨立性這條假設的存在，則會是：

$P(X=x|Y=c_{k})=P(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)},...,X^{(n)}=x^{(n)}|Y=c_{k})\\ =\frac{P(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)},...,X^{(n)}=x^{(n)},Y=c_{k})}{P(Y=c_{k})}\\ =\frac{P(Y=c_{k})P(X^{(1)}=x^{(1)}|Y=c_{k})P(X^{(2)}=x^{(2)}|X^{(1)}=x^{(1)},Y=c_{k})...P(X^{(n)}=x^{(n)}|X^{(1)}=x^{(1)},...,X^{(n-1)}=x^{(n-1)},Y=c_{k})}{P(Y=c_{k})}\\ =P(X^{(1)}=x^{(1)}|Y=c_{k})P(X^{(2)}=x^{(2)}|X^{(1)}=x^{(1)},Y=c_{k})...P(X^{(n)}=x^{(n)}|X^{(1)}=x^{(1)},...,X^{(n-1)}=x^{(n-1)},Y=c_{k})$

注意，在上面公式的推導過程中我們用到了以下公式：

但是在這里，我們假設了特征條件獨立性，所以我們可以的得到公式（4.3）。

后驗概率

條件概率：

$P(A|B)\frac{=P(A,B)}{P(B)}=\frac{P(B|A)P(A)}{P(B)}$

Bayes解釋：

P(A):A的先驗概率，不在任何條件下（沒有任何先驗知識下），A事件的概率
P(A|B):A的后驗概率，在已知B的條件下（有了B的先驗知識），A事件的概率
P(B|A):B的后驗概率
P(B)：B的先驗概率，在此也常被稱為標準化常量。

實際上貝葉斯公式就是在以上條件概率的基礎上推導出來的。我們用Bayes來描述上述公式：

后驗概率=（相似度*先驗概率）/標準化常量

P(B|A)在此稱為可能性函數，目的是使得預估計概率更接近于真實概率。
我們可以簡化為：

后驗概率=先驗概率*調整因子

　　樸素貝葉斯方法分類的時候，對給定的輸入x，通過學習到的模型計算后驗概率分布 $P(Y=c_{k}|X=x)$ ，將后驗概率最大的類作為x的類輸出。
　　后驗概率計算根據貝葉斯定理進行：

后驗概率最大化的含義

樸素貝葉斯方法將實例分到后驗概率最大的類中，這等價于期望風險最小化，我們可以證明一下。

假設選擇0-1損失函數：

在一章的時候，我們已經介紹過損失函數的期望風險為：
這里寫圖片描述

這是理論上模型f(X)關于聯合分布P(X,Y)的平均意義下的損失，稱為風險函數或者期望損失。

根據P(X,Y)=P(Y|X)P(X)，我們可以得到以下公式：

為了使得期望風險最小化，我們只需對X=x逐個極小化，由此得到：

這樣一來，根據期望風險最小化準則就得打了后驗概率最大化準則：
$f(x)=arg\overset{max}{c_{k}}P(c_{k}|X=x)$

實際上這就是樸素貝葉斯所采用的判別類的原理。

貝葉斯分類算法

極大似然估計

在此有點像樣本估計總體的感覺，前提條件是樣本容量足夠大，當樣本容量不夠大的時候，就會有誤差存在。

貝葉斯估計

用極大似然估計可能會出現所要估計的概率值為0的情況，又因為我們的條件獨立性假設，這時會影響到后驗概率的計算結果，使分類產生偏差。解決這一問題的方法是采用貝葉斯估計。具體地，條件概率的貝葉斯估計是：

拓展

$g(x,\eta ,\sigma )=\frac{1}{\sqrt{2\pi }\sigma }e^{-\frac{(x-\eta )^2}{2\sigma ^2}}$
　　則P(xi|Y)為：
　　 $P(x_{i}|Y=c_{k})=g(x_{i},\eta_{y=c_{k}} ,\sigma_{y=c_{k}} )$

因此只要計算出訓練樣本中各個類別中此特征項劃分的各均值和標準差，帶入上述公式即可得到需要的估計值。

《完》

所謂的不平凡就是平凡的N次冪。
                         -------By Ada

本文鏈接：https://blog.csdn.net/u010626937/article/details/73742114

智能推薦

統計學習方法第四章：樸素貝葉斯法(naive Bayes)，貝葉斯估計及python實現

統計學習方法第二章：感知機(perceptron)算法及python實現統計學習方法第三章：k近鄰法(k-NN),kd樹及python實現統計學習方法第四章：樸素貝葉斯法(naive Bayes)，貝葉斯估計及python實現統計學習方法第五章：決策樹(decision tree),CART算法，剪枝及python實現統計學習方法第五章：決策樹(decision tree),ID3算法，C...

樸素貝葉斯(naive Bayes)的python實現——基于《統計學習方法》例題的編程求解

樸素貝葉斯方法是基于貝葉斯定理與特征條件獨立假設的分類方法。認為樣本的特征X與標簽y服從聯合概率分布P(X, y)，所有的樣本都是基于這個概率分布產生的。由于條件概率P(X=x|Y=y)的參數具有指數數量級，因此進行估算切實際。貝葉斯法對條件概率分布做了條件獨立性假設，從而減少了模型的復雜性，增加了模型的泛化能力，減少了過擬合的風險。 #后驗概率最大化可以證明，期望風險最小化準則可以得到后驗概率...

《統計學習方法》代碼全解析——第四部分樸素貝葉斯

（每天一點點）統計學習方法——樸素貝葉斯法

1、概率論基礎貝葉斯原理就是求解后驗概率。如果已知p(x|c)要求p(c|x)，我們可以使用貝葉斯公式進行求解。貝葉斯公式： ps：圖片出處樸素貝葉斯分類器中的樸素指的是特征樣本之間相互獨立。 2、舉個栗子已在線社區留言板為例子，我們要屏蔽侮辱性言論。對此問題我們建立兩個類別：侮辱性和非侮辱性。我們先定一個詞典，比如[dog,love,cute…]，然后把一條留言分成詞向量[...

統計學習方法第四章（樸素貝葉斯）及Python實現及sklearn實現