朴素贝叶斯 贝叶斯方法
朴素贝叶斯 贝叶斯方法
背景知识
- 贝叶斯分类：贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。
- 先验概率：根据以往经验和分析得到的概率。我们用 P ( Y ) P(Y) P(Y)来代表在没有训练数据前假设Y拥有的初始概率
- 后验概率：根据已经发生的事件来分析得到的概率。以 P ( X ∣ Y ) P(X|Y) P(X∣Y) 代表假设X 成立的情下观察到Y数据的概率，因为它反映了在看到训练数据X后Y成立的置信度。
- 联合概率:指在多元的概率分布中多个随机变量分别满足各自条件的概率。X与Y的联合概率表示为 P ( X , Y ) P(X,Y) P(X,Y)或 P ( X Y ) P(XY) P(XY)
（假设X和Y都服从正态分布，那么P(X < 5,y < 0.5)就是一个联合概率，表示 X < 5,y <0.5两个条件同时成立的概率。表示两个事件共同发生的概率。）
贝叶斯公式
P ( Y ∣ X ) = P ( X , Y ) P ( X ) = P ( X ∣ Y ) P ( Y ) P ( X ) P(Y | X)=\frac{P(X, Y)}{P(X)}=\frac{P(X|Y) P(Y)}{P(X)} P(Y∣X)=P(X)P(X,Y)=P(X)P(X∣Y)P(Y)
- 朴素贝叶斯法是典型的生成学习方法。生成方法由训练数据学习联合概率分布 P ( X , Y ) P(X,Y) P(X,Y)，然后求得后验概率分布 P ( Y ∣ X ) P(Y|X) P(Y∣X)。具体来说，利用训练数据学习 P ( X ∣ Y ) P(X|Y) P(X∣Y)(似然度）和 P ( Y ) P(Y) P(Y)(先验概率)的估计，得到联合概率分布 P ( X , Y ) = P ( X ∣ Y ) P ( Y ) P(X,Y)=P(X|Y) P(Y) P(X,Y)=P(X∣Y)P(Y)