【机器学习】朴素贝叶斯算法
目录
什么是朴素贝叶斯算法？
算法引入
贝叶斯定理
朴素贝叶斯分类器
工作原理
优缺点
应用场景
实现示例
基本步骤：
在机器学习的世界里，朴素贝叶斯算法以其简单性和高效性而著称。尽管它的名字听起来有点复杂，但实际上它是一种基于概率论的简单分类算法。今天，我们就来深入了解一下朴素贝叶斯算法的工作原理、优缺点以及如何应用它。
什么是朴素贝叶斯算法？
朴素贝叶斯算法（Naive Bayes Algorithm）是一种基于贝叶斯定理的简单概率分类器。它假设所有特征之间相互独立，这个假设虽然在现实中往往不成立，但在很多情况下，朴素贝叶斯分类器仍然能够表现得非常好。
朴素贝叶斯算法是基于贝叶斯定理的分类算法。贝叶斯定理是一种描述随机事件A和B的条件概率的公式。在朴素贝叶斯中，我们假设特征之间相互独立，即一个特征的出现不影响其他特征的出现。这个假设被称为“朴素”的假设，也是算法名称的由来。
算法引入
有一天，老师布置了一个非常困难的作业，于是小明向班级内其他30人发送群发消息，“今天的作业怎么做，能不能借我抄一抄，谢谢！”。然后班级内30人分别给出了回复，其内容分为答案与情书。其中回复是作业答案的为16份。同时小明也收到了意外且深情的告白，其中情书数量是13份。但是唯独小明的白月光发来的信息没有看懂，于是小明就想能不能按照关键词给白月光的回复进行分类呢，看看到底是作业答案还是情书。
于是小明从其他的29份中选取了一些关键词，从作业和情书中选取了4个关键词，分别是喜欢、明天、红豆、辛苦。然后从这16份答案与13份情书中分别统计出现的次数，并且计算概率。
得到概率之后，我们就可以进行计算：
回复是作业的概率=P(作业)* P(红豆|作业)*P(喜欢|作业)=0.0183
回复是作业的概率=P(情书)* P(红豆|情书)*P(喜欢|情书)=0.0506
小明发现回复是情书的概率大于回复是作业的概率，0.0506>0.0183，所以得出结论，白月光给小明发的内容是情书。
拉普拉斯平滑：
我们再接着看这样的一个例子:“好喜欢你，好喜欢你”、“好喜欢你，辛苦你了”，我们选取“喜欢”与“辛苦”为关键词，我们根据上面的的例子，我们进行计算概率：
P(作业)* P(喜欢|作业)^3*P(辛苦|作业)=0.000177
P(情书)* P(喜欢|情书)^3*P(辛苦|情书)=0.000000
但是我们发现第二句话是很明显的告白，但是因为在情书中“辛苦”关键字没有出现，所以会导致P(辛苦|情书) =0，通过这样的算法，这很明显得到了错误的预测，那么我们如何去解决这个问题呢，我们可以利用拉普拉斯平滑技巧，也就是在每一个关键词上人为增加一个出现的次数（如图：黄色部分）。这样会保证每一项都不为0，按照通过拉普拉斯平滑技巧处理过的次数，进行重新计算关键词的概率，再此概率基础上再进行计算会得到正确的结果了。
贝叶斯定理
贝叶斯定理描述了给定事件B发生的条件下，事件A发生的概率，公式如下：
其中：
- P(A∣B) 是在事件B发生的条件下事件A发生的概率。
- P(B∣A) 是在事件A发生的条件下事件B发生的概率。
- P(A) 是事件A发生的概率。
- P(B) 是事件B发生的概率。
朴素贝叶斯分类器
在分类问题中，朴素贝叶斯分类器的目标是找出给定输入特征下，哪个类别的概率最高。假设我们有特征集合 X={x1,x2,...,xn} 和类别集合 C={c1,c2,...,ck}，朴素贝叶斯分类器会计算：
P(ci∣X)=P(X)P(X∣ci)P(ci)
其中：
- P(ci∣X) 是给定特征集合X的条件下，类别 ci 发生的概率。
- P(X∣ci) 是给定类别 ci 的条件下，特征集合X发生的概率。
- P(ci) 是类别 ci 的先验概率。
- P(X) 是特征集合X的先验概率，通常可以忽略，因为它对所有类别都是相同的。
由于特征之间是条件独立的，我们可以将P(X∣ci) 展开为：
P(X∣ci)=P(x1∣ci)P(x2∣ci)...P(xn∣ci)
工作原理
朴素贝叶斯算法的核心是计算给定输入特征下，每个类别的概率，然后选择概率最高的类别作为预测结果。具体步骤如下：
-
数据预处理：将数据转换为算法可以处理的格式，如文本数据需要进行分词、去除停用词等。
-
计算先验概率：先验概率是指在没有观察到任何特征的情况下，每个类别的概率。
-
计算条件概率：对于每个类别，计算在该类别下观察到每个特征的概率。
-
应用贝叶斯定理：结合先验概率和条件概率，计算后验概率，即在观察到特征的情况下，每个类别的概率。
-
分类决策：选择后验概率最高的类别作为预测结果。
优缺点
优点：
- 简单高效：算法实现简单，计算效率高，适合处理大量数据。
- 对小规模数据表现良好：在数据量不大的情况下，朴素贝叶斯往往能取得不错的效果。
- 需要的样本量较少：与其他机器学习算法相比，朴素贝叶斯需要的训练样本量较少。
缺点：
- 特征独立性假设：特征独立性假设在实际应用中往往不成立，这可能会影响分类的准确性。
- 对输入数据的表达形式敏感：算法对输入数据的表达形式非常敏感，如文本数据的分词方式等。
应用场景
- 文本分类：通过计算文档中每个词属于某个类别的概率，来确定文档的分类。
- 垃圾邮件检测：通过分析邮件内容，判断邮件是否为垃圾邮件。
- 情感分析：通过分析用户评论，判断用户的情感倾向。
实现示例
基本步骤：
- 数据准备：收集数据并将其分为训练集和测试集。
- 特征提取：从数据中提取特征。
- 计算先验概率：计算每个类别的概率。
- 计算条件概率：计算每个特征在每个类别下的条件概率。
- 应用贝叶斯定理：使用贝叶斯定理计算后验概率。
- 分类决策：选择具有最高后验概率的类别作为预测类别。
以下是使用Python的scikit-learn库实现朴素贝叶斯分类器的简单示例：
from sklearn.naive_bayes import GaussianNB
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
# 加载数据集
iris = load_iris()
X, y = iris.data, iris.target
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)
# 创建并训练模型
model = GaussianNB()
model.fit(X_train, y_train)
# 进行预测
y_pred = model.predict(X_test)
# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f"Accuracy: {accuracy}")在这个示例中，我们使用了sklearn库中的GaussianNB类，它假设特征遵循高斯分布。load_iris函数用于加载鸢尾花数据集，这是一个常用的分类数据集。然后，我们将数据集分为训练集和测试集，并使用GaussianNB模型进行训练和预测。
请注意，这个例子是一个简化的版本，实际应用中可能需要进行更多的数据预处理步骤，比如特征缩放、缺失值处理等。此外，根据数据的特性，可能需要选择不同的朴素贝叶斯模型，如多项式朴素贝叶斯或伯努利朴素贝叶斯。
朴素贝叶斯算法虽然简单，但在很多实际应用中都能取得不错的效果。理解其工作原理和适用场景，可以帮助我们在适当的问题上选择合适的工具。希望这篇文章能帮助大家更好地理解和应用朴素贝叶斯算法。
注：算法引入及图片来源于[5分钟学算法] #02 朴素贝叶斯 写作业还得看小明_哔哩哔哩_bilibili