【漫话机器学习系列】076.合页损失函数（Hinge Loss）
Hinge Loss损失函数
Hinge Loss（合页损失），也叫做合页损失函数，广泛用于支持向量机（SVM）等分类模型的训练过程中。它主要用于二分类问题，尤其是支持向量机中的优化目标函数。
定义与公式
对于一个给定的训练样本 ，其中
是输入特征，
是标签（通常取值为
）。Hinge Loss的定义为：
其中：
- yiy_iyi 是真实标签，取值为 {−1, +1}。
是模型对样本
的预测输出，通常是一个实数（例如线性模型的决策函数值）。
表示对于正确分类的样本，如果预测结果的边距（决策函数值）足够大，损失为0；否则，损失为正数，且与预测结果的偏差成正比。
Hinge Loss 的行为
- 当样本被正确分类，并且决策函数
- 如果样本被错误分类或分类边际不够大（即，
），Hinge Loss 将返回一个正值，模型将尝试通过更新参数减少损失。
图形表现
Hinge Loss 是一种非对称的损失函数，它的图形在零点处呈现“折线”的形状：
- 对于正类样本（
），若模型输出
，则损失为0；否则，损失会随着
- 对于负类样本（
），若模型输出
，则损失为0；否则，损失会随着
优势与特点
- 边际最大化：Hinge Loss 鼓励模型不仅仅正确分类，还要使样本与分类边界之间的距离尽可能大。这种“最大化边际”的策略是支持向量机（SVM）的核心思想之一。
- 鲁棒性：Hinge Loss 对于“干扰”数据点（即离分类边界很远的样本）的处理较为“宽松”，它只在预测结果与真实标签接近时才惩罚模型。
缺点
- 不适用于回归问题：Hinge Loss 仅适用于分类问题，不适用于回归问题。对于回归问题，通常使用平方误差等其他损失函数。
- 敏感于标签：Hinge Loss 需要真实标签是 {−1, +1} 的格式。如果标签不是这种形式（如 {0, 1}），需要进行转换。
与其他损失函数的比较
- 与交叉熵损失：交叉熵损失通常用于概率输出的分类问题，特别是对于深度神经网络。与之相比，Hinge Loss 不关注概率分布，而是直接关注预测与真实标签的间距。
- 与平方损失：平方损失（MSE）通常用于回归问题，而Hinge Loss 在处理分类问题时更有效，特别是在边际最大化的场景下。
总结
Hinge Loss 是一种专为二分类问题设计的损失函数，它强调边际最大化，使得支持向量机（SVM）等模型不仅仅关注分类正确性，还鼓励模型产生具有大间隔的决策边界。通过这种方式，Hinge Loss 能够提高模型的泛化能力，减少过拟合的风险。