朴素贝叶斯
朴素贝叶斯法是一种典型的生成学习方法。生成方法由训练数据学习联合概率分布P(X,Y),然后求得后验概率分布P(Y|X),也就是利用数据学习P(X|Y)和P(Y)的估计,得到联合概率分布:
然后利用贝叶斯定理与学到的联合概率进行分类预测:
将输入x分到后验概率最大的类y。
后验概率最大等价于0-1损失函数时的期望风险最小化。
概率估计方法可以是极大似然估计或贝叶斯估计。
(2)朴素贝叶斯法的基本假设是条件独立性(输入变量都是条件独立的),也因此该算法具有高效、易于实现等特点。
备注:如果条件之间存在概率依存关系,模型就变成了贝叶斯网络。