机器学习（3）朴素贝叶斯算法
朴素贝叶斯算法详细解析
朴素贝叶斯（Naive Bayes）是基于贝叶斯定理（Bayes' Theorem）和特征条件独立性假设的分类算法。它在很多文本分类任务（如垃圾邮件分类、情感分析等）中表现优异，尤其适用于特征之间相互独立的情况。尽管"朴素"假设特征之间不相关性在实际中往往不成立，朴素贝叶斯依然常常能够获得较好的效果。
1. 贝叶斯定理回顾
在分类问题中，假设我们有一个样本 X=(x1,x2,…,xn)我们需要计算样本属于不同类别的概率，选择概率最大的类别作为预测结果。
4. 朴素贝叶斯分类器的步骤
-
训练阶段：
- 计算每个类别的先验概率 P(Ck)。
- 计算每个类别下每个特征的条件概率 P(xi∣Ck)。
- 使用这些概率构建分类器。
-
预测阶段：
- 对于新的输入样本，计算每个类别的后验概率 P(Ck∣X))。
- 选择后验概率最大的类别作为最终预测。
5. 朴素贝叶斯分类器的优点
- 简单高效：朴素贝叶斯算法简单，易于实现且计算效率高，特别适合大规模数据集。
- 对缺失数据不敏感：可以处理缺失数据，如果某些特征缺失，只需忽略它们即可。
- 适合高维数据：特别适合特征维度较高的任务，如文本分类（垃圾邮件、情感分析等）。
- 对小数据集也有效：即使在小样本数据集上，朴素贝叶斯算法也能够表现得很好。
6. 朴素贝叶斯分类器的缺点
- 特征独立性假设不成立：现实中，大多数特征之间并不独立，因此朴素贝叶斯的性能在特征相关性较强的情况下可能不如其他模型（如决策树、支持向量机等）。
- 零概率问题：如果某个特征在训练集中某个类别中从未出现过，那么条件概率将为零，导致最终的后验概率为零。通常通过拉普拉斯平滑来解决此问题。
7. 拉普拉斯平滑（Laplace Smoothing）
为了避免零概率问题，通常使用拉普拉斯平滑。假设特征 xi 在类别 Ck 中从未出现过，那么在估计条件概率时，拉普拉斯平滑通过添加一个常数 α 来避免除零错误，公式为：
P(xi∣Ck)=特征 xi 出现的次数+α/类别 Ck 的总样本数+α×特征的总数
通常 α=1 被选为默认值。
8. 举例：朴素贝叶斯分类
假设我们有一个简单的垃圾邮件分类问题，特征包括：
Free: 是否包含"Free"。Money: 是否包含"Money"。
并且有以下训练集：
| 邮件内容 | Free | Money | 类别 (垃圾邮件 = 1) |
|---|---|---|---|
| "Get Free money now" | 1 | 1 | 1 |
| "Hi, how are you" | 0 | 0 | 0 |
| "Free money available" | 1 | 1 | 1 |
| "Hello, let's meet" | 0 | 0 | 0 |
先计算先验概率 P(Ck)P(C_k)P(Ck)：
- P(Spam)=24=0.5
- P(Not Spam)=24=0.5
然后计算条件概率：
- P(Free∣Spam)=2/2=1
- P(Money∣Spam)=2/2=1
- P(Free∣Not Spam)=0/2=0
- P(Money∣Not Spam)=0/2=0
接下来，使用这些概率对新邮件进行分类。假设新邮件的特征是：
Free = 1Money = 0
计算两个类别的后验概率，选择概率更大的类别。
总结
朴素贝叶斯是一个高效、易于实现的分类算法，尤其适用于特征独立性假设成立的场景。尽管它的特征独立性假设在很多情况下并不完全成立，但它仍然能够在许多实际问题中取得不错的效果。
朴素贝叶斯典型例题
我们来通过一个简单的垃圾邮件分类的例子，详细解释朴素贝叶斯分类器的工作原理。
问题描述：
我们有一个简单的数据集，其中每封邮件是否为垃圾邮件（Spam）或者非垃圾邮件（Not Spam），并且邮件的特征是是否包含某些特定的词，如“Free”和“Money”。我们的目标是根据邮件的特征（是否包含这些词），来判断邮件是否为垃圾邮件。
1. 训练数据集
我们有以下的训练数据集：
| 邮件内容 | Free | Money | 类别 (Spam = 1) |
|---|---|---|---|
| "Free money available" | 1 | 1 | 1 |
| "Hi, how are you?" | 0 | 0 | 0 |
| "Free money now" | 1 | 1 | 1 |
| "Let's meet tomorrow" | 0 | 0 | 0 |
2. 计算先验概率（Prior Probability）
首先，我们计算每个类别（垃圾邮件和非垃圾邮件）的先验概率 P(Ck)P(C_k)P(Ck)，即邮件属于某个类别的概率。
3. 计算条件概率（Conditional Probability）
接下来，我们计算每个特征在各个类别下的条件概率 P(xi∣Ck)P(x_i | C_k)P(xi∣Ck)，即给定类别的条件下，特征 xix_ixi 出现的概率。
4. 构建分类器
假设我们有一封新邮件，其特征是：
- 包含 "Free"（Free = 1）
- 不包含 "Money"（Money = 0）
我们要计算这封邮件属于垃圾邮件（Spam）和非垃圾邮件（Not Spam）的后验概率，并选择概率较大的类别作为预测结果。
4.1 计算垃圾邮件（Spam）的后验概率：
5. 选择类别
根据计算的后验概率，我们得到：
- P(Spam∣X)=0.5
- P(Not Spam∣X)=0
由于垃圾邮件的后验概率 P(Spam∣X） 大于非垃圾邮件的后验概率 P(Not Spam∣X） ，我们预测这封邮件是垃圾邮件（Spam）。