机器学习(三)

一:Logistic Regression(逻辑回归):

        1,定义:是一种常用的分类算法，适用于二进制分类问题(binary classification)，输出结果的取值范围为[0,1]，且最终拟合出来的图像是一条S型曲线

        2,sigmoid function/logistic function(逻辑函数)：用来描述逻辑回归图像的一个重要函数，

        3,用线性回归模型和Logistic function来实现逻辑回归的过程:

                4,逻辑回归输出值的理解：可以理解为该样本属于正例的概率。以判定肿瘤的良性or恶性为例（以恶性为正例），若输出0.7，则表示有70%的概率该肿瘤为恶性，有30%的概率该肿瘤为良性

        5,决策边界：即线性回归的零点，（相当于一个阈值）当逻辑回归模型输出值大于决策边界时，输出1，反之则输出0。

        6,决策边界的确定：

二，逻辑回归的代价函数：

        1,Logistic loss function:逻辑损失函数，本质上用于计算预测值和真实值的差值，而预测值和真实值的差值称为损失，损失值越小，代表预测值越接近真实值

        2,逻辑损失函数的引入：和普通线性回归模型的代价函数不同，当利用成本函数(J)来实现梯度下降寻找最合适的W和b时，逻辑回归的代价函数和W,b函数图像会出现很多局部最小值，不利于迭代至最合适的W和b，所以引入损失函数来确定逻辑回归的代价函数，从而进行梯度下降。

        3,逻辑损失函数的表达式及由损失函数推导逻辑回归的代价函数： 

        由损失函数推到成本函数：损失函数为一个分段函数，当真实值为1时，对应图中第一种情况，从而得到相应的损失值（L），当真实值为0时同理。通过对每一个预测值和真实值的差值（即损失）求和取平均值，来得到逻辑回归的代价函数，使得代价函数最小，从而得到最合适的W和b。

        4,损失函数和成本函数的简化公式：

三，过拟合问题：

        过拟合和欠拟合：

                过拟合即过于拟合，是当模型把数据集拟合的过于完美，可能把所给的数据集的一些特殊性质当作所有数据集的一般性质，导致训练出来的模型只拟合所给的数据集，而不拟合一般的数据集，即泛化能力下降，称为过拟合；欠拟合则恰恰相反，欠拟合是欠于拟合，是模型拟合数据集的能力还未训练好，导致误差过大。（上图中左为欠拟合，右为过拟合）

        解决过拟合：

                ①得到足够的训练集来训练模型

                ②通过特征工程来减少多项式的特征值

                ③正则化

 四,正则化（Regularization）：

1. 定义：正则化是一种更温和的减少多项式特征值影响的一种方法，是对参数值进行收缩，但不必减少为0，通常对W进行正则化，也可以对b进行正则化

2. 正则化代价函数：

        3,正则化线性回归和逻辑回归：

                正则化线性回归↓

                正则化逻辑回归↓

        只需在相应的代价函数末尾加上正则化项，然后通过梯度下降，从而确定最合适的W，b和正则化系数