【机器学习】5 ——过拟合，正则化
机器学习5 ——过拟合，正则化
文章目录
- 机器学习5 ——过拟合，正则化
- 过拟合
- 解决
- 正则化（regularization）
- L2 正则化（Ridge Regularization）
- L1 正则化（Lasso Regularization）
过拟合
- 在某个具体的问题中，或者某个特定的问题表现很好
换个同样类型或者相同的问题，不同的数据，立刻宕机
通常是因为模型对训练集的噪声或细节过于敏感，从而丧失了泛化能力。
-
和拟合对应的是泛化性，就是在同意类型的问题上表现良好，可能在某个问题上表现不如最好的能够，但是管得宽
-
过拟合和泛化是不可兼得的，除非非常非常特殊，需要权衡
解决
-
增加训练数据，帮助拟合
一般特征给的多，最好有与之匹配的训练数据量 -
选择适合的特征，这都属于模型建立这一步的工作
-
正则化
在模型的损失函数中引入额外的惩罚项，来限制模型的复杂度，特征越多，模型越复杂
正则化（regularization）
缩减特征数，把某个特征去掉或者把这个特征的i影响力降到很低很低
对应惩罚函数
在最小化损失函数的思路中，给损失函数加上和参数有关的项（正则化项），加的这个东西大于0，也就是说，他会让损失函数变大
那为了最终使得损失函数最小，正则化项中对应的不那么重要的参数值减小
正则化项有个系数，这个系数就是权衡损失和正则化项对最终损失的“贡献”
L2 正则化（Ridge Regularization）
在损失函数中加入权重的平方和惩罚项来限制模型参数的大小。
L2正则化使模型倾向于较小的权重值，但不会使其完全归零。
L1 正则化（Lasso Regularization）
在损失函数中加入权重的绝对值惩罚项来限制模型参数的大小。
与L2正则化不同，L1正则化倾向于使一些权重完全归零，从而产生稀疏模型，即自动选择重要特征。
