机器学习基础04

目录

1.朴素贝叶斯-分类

1.1贝叶斯分类理论

1.2条件概率

1.3全概率公式

1.4贝叶斯推断

1.5朴素贝叶斯推断

1.6拉普拉斯平滑系数

1.7API

2.决策树-分类

2.1决策树

2.2基于信息增益的决策树建立

2.2.1信息熵

2.2.2信息增益

2.2.3信息增益决策树建立步骤

2.3基于基尼指数决策树的建立

2.3.1基尼指数

2.4API

1.朴素贝叶斯-分类

1.1贝叶斯分类理论

选择较高概率对应的类别，为其样本的类别。

1.2条件概率

条件概率(Conditional probability)，就是指在事件B发生的情况下，事件A发生的概率，用P(A|B)来表示。

由 𝑃(𝐴|𝐵)=𝑃(𝐴∩𝐵)/𝑃(𝐵)，

得 𝑃(𝐴∩𝐵)=𝑃(𝐴|𝐵)𝑃(𝐵)

同理可得，

𝑃(𝐴∩𝐵)=𝑃(𝐵|𝐴)𝑃(𝐴)

即，条件概率的计算公式：

𝑃(𝐴|𝐵)=𝑃(B|A)𝑃(𝐴)/𝑃(𝐵)

1.3全概率公式

由 𝑃(𝐵)=𝑃(𝐵∩𝐴)+𝑃(𝐵∩𝐴′)

和 𝑃(𝐵∩𝐴)=𝑃(𝐵|𝐴)𝑃(𝐴)

所以,全概率公式:

𝑃(𝐵)=𝑃(𝐵|𝐴)𝑃(𝐴)+𝑃(𝐵|𝐴′)𝑃(𝐴′) 

1.4贝叶斯推断

对条件概率公式进行变形:

P(A)称为"先验概率"（Prior probability），即在B事件发生之前，我们对A事件概率的一个判断。

P(A|B)称为"后验概率"（Posterior probability），即在B事件发生之后，我们对A事件概率的重新评估。

P(B|A)/P(B)称为"可能性函数"（Likelyhood），这是一个调整因子，使得预估概率更接近真实概率。

理解： 后验概率　＝　先验概率ｘ调整因子

1.5朴素贝叶斯推断

 朴素贝叶斯对条件概率分布做了条件独立性的假设。

p(a|X) = p(X|a)* p(a)/p(X)
p(X|a) = p(x1,x2,x3...xn|a) = p(x1|a)*p(x2|a)*p(x3|a)...p(xn|a)
p(X) = p(x1,x2,x3...xn) = p(x1)*p(x2)*p(x3)...p(xn)
p(a|X) = p(x1|a)*p(x2|a)*p(x3|a)...p(xn|a) * p(a) / p(x1)*p(x2)*p(x3)...p(xn)

1.6拉普拉斯平滑系数

某些事件或特征可能从未出现过，这会导致其的概率被估计为零。然而，在实际应用中，即使某个事件或特征没有出现在训练集中，也不能完全排除它在未来样本中出现的可能性。拉普拉斯平滑技术可以避免这种“零概率陷阱”。

一般α取值1，m的值为总特征数量

通过这种方法，即使某个特征在训练集中从未出现过，其概率也不会被估计为零，而是会被赋予一个很小但非零的值，从而避免了模型在面对新数据时可能出现的过拟合或预测错误。

1.7API

sklearn.naive_bayes.MultinomialNB()
estimator.fit(x_train, y_train)
y_predict = estimator.predict(x_test)

score= estimator.score(x_test)

from sklearn.datasets import load_digits
from sklearn.model_selection import StratifiedKFold
from sklearn.naive_bayes import MultinomialNB

data =load_digits()
x,y =data.data,data.target

# 贝叶斯算法预估器
estimator = MultinomialNB()

fold = StratifiedKFold(n_splits=5,shuffle=True,random_state =10)
indexs = fold.split(x,y)

for train_index, test_index in indexs:
    x_train,x_test = x[train_index],x[test_index]
    y_train,y_test = y[train_index],y[test_index]

    # 模型训练
    estimator.fit(x_train,y_train)

    # 模型测试
    y_predict=estimator.predict(x_test)
    # print(y_predict)

    # 模型评估
    score = estimator.score(x_test,y_test)
    print(score)

2.决策树-分类

2.1决策树

• 决策节点

通过条件判断而进行分支选择的节点。

• 叶子节点

没有子节点的节点，表示最终的决策结果。

• 决策树的深度

所有节点的最大层次数。

• 决策树优点

可视化 - 可解释能力-对算力要求低

• 决策树缺点

容易产生过拟合，不能把深度调整得太大了。

2.2基于信息增益的决策树建立

信息增益决策树倾向于选择取值较多的属性，在有些情况下这类属性可能不会提供太多有价值的信息，算法只能对描述属性为离散型属性的数据集构造决策树。

2.2.1信息熵

信息熵描述的是不确定性。信息熵越大，不确定性越大。信息熵的值越小，则纯度越高。

假设样本集合D共有N类，第k类样本所占比例为，则D的信息熵为

2.2.2信息增益

信息增益是一个统计量，用来描述一个属性区分数据样本的能力。信息增益越大，那么决策树就会越简洁。这里信息增益的程度用信息熵的变化程度来衡量, 信息增益公式：

2.2.3信息增益决策树建立步骤

第一步：计算各属性的信息熵。

第二步：计算属性的信息增益。

第三步：划分属性，信息增益较高者，作为划分节点。

第四步：在分支情况下，计算剩余属性的信息熵。重复第二，三步。

2.3基于基尼指数决策树的建立

2.3.1基尼指数

基尼指数（Gini Index）是决策树算法中用于评估数据集纯度的一种度量，基尼指数衡量的是数据集的不纯度，或者说分类的不确定性。在构建决策树时，基尼指数被用来决定如何对数据集进行最优划分，以减少不纯度。

2.3.2基尼指数的计算

对于一个二分类问题，如果一个节点包含的样本属于正类的概率是 (p)，则属于负类的概率是 (1-p)。那么，这个节点的基尼指数 (Gini(p)) 定义为：

2.3.3基尼指数的意义

• 当一个节点的所有样本都属于同一类别时，基尼指数为 0，表示纯度最高。

• 当一个节点的样本均匀分布在所有类别时，基尼指数最大，表示纯度最低。

2.3.4决策树中的应用

在构建决策树时，我们希望每个内部节点的子节点能更纯，即基尼指数更小。因此，选择分割特征和分割点的目标是使子节点的平均基尼指数最小化。具体来说，对于一个特征，我们计算其所有可能的分割点对应的子节点的加权平均基尼指数，然后选择最小化这个值的分割点。这个过程会在所有特征中重复，直到找到最佳的分割特征和分割点。

2.4API

class sklearn.tree.DecisionTreeClassifier(criterion)

参数：

• criterion :

默认为="gini" 
    当criterion取值为"gini"时采用 基尼不纯度（Gini impurity）算法构造决策树，
    当criterion取值为"entropy”时采用信息增益（ information gain）算法构造决策树.

• max_depth: 

int, 默认为=None  树的最大深度

function sklearn.tree.export_graphviz(estimator, out_file="iris_tree.dot", feature_names=iris.feature_names)

参数：

•     estimator: 决策树预估器
•     out_file: 生成的文档
•     feature_names: 节点特征属性名

功能:
    把生成的文档打开，复制出内容粘贴到"http://webgraphviz.com/"中，点击"generate Graph"会生成一个树型的决策树图

from sklearn.datasets import load_iris
from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import GridSearchCV,train_test_split,StratifiedKFold
from sklearn.tree import DecisionTreeClassifier,export_graphviz

# 加载数据
dataset = load_iris()
x,y = dataset.data,dataset.target



# 数据划分
x_train,x_test,y_train,y_test = train_test_split(x,y,train_size=0.7,shuffle=True,random_state=4)

fold=StratifiedKFold


# 数据标准化
transfer = StandardScaler()
s_x_train = transfer.fit_transform(x_train)
s_x_test = transfer.transform(x_test)


# 决策树预估器
estimator = DecisionTreeClassifier(criterion='entropy',max_depth=3)
estimator.fit(s_x_train,y_train)

# 模型训练，超参数搜索
param_grid = {
    'max_depth': [1,2,3],
    'min_samples_split': [2, 5, 10],
    'min_samples_leaf': [1, 2, 4]
}
grid_search = GridSearchCV(estimator,param_grid =param_grid)
grid_search.fit(s_x_train,y_train)


# 模型评估
score = grid_search.best_score_
print(score)
n = grid_search.best_params_
print(n)



# 可视化决策树
export_graphviz(estimator,out_file='iris_tree.dot',feature_names=['萼片长度','萼片宽度','花瓣长度','花瓣宽度'])