机器学习之过拟合（算法参数，超参数） 欠拟合（模型参数）
过拟合和欠拟合在机器学习中分别与算法参数、超参数及模型参数相关联。以下详细说明两者之间的联系及影响：
1. 过拟合与算法参数、超参数的关系
1.1 算法参数对过拟合的影响
-
模型的自由度：当模型的参数过多时（自由度高），它能够拟合训练数据中的噪声和异常点，导致过拟合。
- 例如：在多项式回归中，高阶多项式（如10阶）可以完全拟合训练数据，但可能导致泛化能力差。
-
权重/系数的大小：模型中的权重过大可能导致输出对输入的微小变化过于敏感，从而适配训练数据的噪声。
1.2 超参数对过拟合的影响
超参数是控制模型训练过程和复杂度的重要因素，常见的超参数与过拟合的关系包括：
-
正则化强度：
- ( L_1 ) 和 ( L_2 ) 正则化通过限制权重的大小来降低模型复