损失函数分类

1. NLLLoss（负对数似然损失）

定义：

• 直接对预测的概率 p(yi) 的负对数求平均。
• 通常配合 Softmax 使用，输入为对数概率。

优点：

• 对离散分类问题效果良好。
• 更灵活，用户可以自行计算 Softmax。

缺点：

• 需要输入已经经过 LogSoftmax 的对数概率。
• 使用不便，现代任务中常被 CrossEntropyLoss 替代。

适用场景：

• 分类问题，尤其是多分类问题。

2. CrossEntropyLoss

定义：

• 内部集成了 Softmax 和 NLLLoss 的计算。

优点：

• 集成了 Softmax 和对数概率计算，使用简单方便。
• 稳定性更高，避免了数值溢出问题。

缺点：

• 不适用于多标签分类任务。
• 输出需要为原始 logits。

适用场景：

• 图像分类、文本分类等多分类任务。

3. BCELoss

定义：

• 用于二分类任务，输入为概率值（通常在 [0, 1]）。

优点：

• 简单直观，适合二分类问题。
• 适用于多标签分类（标签独立）。

缺点：

• 输入必须经过 Sigmoid 函数，使用不如 BCEWithLogitsLoss 方便。
• 数值稳定性较差，容易出现浮点溢出。

适用场景：

• 二分类任务，如情感分析、垃圾邮件分类。
• 多标签分类任务。

4. BCEWithLogitsLoss

定义：

• 结合了 Sigmoid 和 BCELoss 的计算。

优点：

• 自动处理 Sigmoid 和数值稳定性问题。
• 更高效，推荐替代 BCELoss。

缺点：

• 使用时需要注意输入为 logits，而非概率值。

适用场景：

• 同 BCELoss，但推荐优先使用。

5. MSE（均方误差）

定义：

• 衡量预测值和真实值之间的平方差。

优点：

• 对小误差更敏感，优化平滑，易于收敛。
• 实现简单，适用范围广。

缺点：

• 对异常值非常敏感，可能导致模型过拟合异常值。

适用场景：

• 连续值预测（如回归任务）。
• 自监督任务（如自编码器）。

6. MAE（均绝对误差）

定义：

• 衡量预测值和真实值之间的绝对差。

优点：

• 对异常值更鲁棒，不会过分放大大的误差。

缺点：

• 优化不平滑，梯度在零点不连续，可能导致收敛变慢。

适用场景：

• 数据中可能存在异常值的回归任务。

7. SmoothL1Loss

定义：

• 结合了 MSE 和 MAE 的优点。

优点：

• 对小误差效果类似 MSE，收敛快；对大误差类似 MAE，鲁棒性好。
• 平滑优化过程，适合复杂任务。

缺点：

• 参数较多（如阈值），需要调试。

适用场景：

• 目标检测中的回归（如边框偏移）。
• 对异常值敏感但仍需要高精度的回归任务。

总结对比表格

选择建议

1. 分类任务：

   • 二分类：优先使用 BCEWithLogitsLoss。
   • 多分类：使用 CrossEntropyLoss。
   • 多标签分类：可使用 BCELoss 或 BCEWithLogitsLoss。

2. 回归任务：

   • 精确值预测：MSE。
   • 数据有异常值：MAE 或 SmoothL1Loss。

3. 特殊场景：

   • 自定义 Softmax：使用 NLLLoss。
   • 目标检测：SmoothL1Loss。