[实践应用] 深度学习之损失函数

文章总览：YuanDaiMa2048博客文章总览

1. 回归任务

任务: 预测一个连续的数值。

1.1 均方误差 (MSE)

原理: MSE 衡量预测值与实际值之间的平方差的平均值，适用于回归任务。它对异常值敏感。

公式:
$$\text{MSE}=\frac{1}{n}\sum _{i=1}^n({\text{预测值}}_i-{\text{实际值}}_i{)}^2$$

PyTorch 代码:

import torch
import torch.nn as nn

# 定义均方误差损失函数
mse_loss = nn.MSELoss()

1.2 平均绝对误差 (MAE)

原理: MAE 衡量预测值与实际值之间的绝对差的平均值，对异常值不太敏感。

公式:
$$\text{MAE}=\frac{1}{n}\sum _{i=1}^n|{\text{预测值}}_i-{\text{实际值}}_i|$$

PyTorch 代码:

import torch
import torch.nn as nn

# 定义平均绝对误差损失函数
mae_loss = nn.L1Loss()

2. 二分类任务

任务: 预测样本属于两个类别中的一个（例如，垃圾邮件分类）。

2.1 二元交叉熵 (Binary Cross-Entropy)

原理: 计算预测概率与实际标签之间的交叉熵，用于二分类任务。

公式:
$$\text{BCE}=-\frac{1}{n}\sum _{i=1}^n[y_i\log (p_i)+(1-y_i)\log (1-p_i)]$$

PyTorch 代码:

import torch
import torch.nn as nn

# 定义二元交叉熵损失函数
bce_loss = nn.BCEWithLogitsLoss()  # 结合了 Sigmoid 激活和 BCE 损失

3. 多分类任务

任务: 预测样本属于多个类别中的一个（例如，手写数字分类）。

3.1 类别交叉熵 (Categorical Cross-Entropy)

原理: 计算预测的概率分布与实际类别之间的交叉熵，用于多分类任务。

公式:
$$\text{CCE}=-\frac{1}{n}\sum _{i=1}^n\sum _{k=1}^K{y}_{i,k}\log (p_{i,k})$$

其中 $K$ 是类别数，$y_{i,k}$ 是实际类别的 one-hot 编码，$p_{i,k}$ 是预测的概率。

PyTorch 代码:

import torch
import torch.nn as nn

# 定义类别交叉熵损失函数
cross_entropy_loss = nn.CrossEntropyLoss()  # 直接对 logits 应用 Softmax 和计算交叉熵

4. 序列生成任务（例如，机器翻译）

任务: 预测序列中每个位置的类别（例如，翻译每个单词）。

4.1 序列交叉熵 (Sequence Cross-Entropy)

原理: 与多分类交叉熵类似，但应用于序列数据，计算预测序列与实际序列之间的交叉熵。

公式:
$$\text{Sequence CCE}=-\frac{1}{n}\sum _{i=1}^n\sum _{t=1}^T\sum _{k=1}^K{y}_{i,t,k}\log (p_{i,t,k})$$

PyTorch 代码:

import torch
import torch.nn as nn

# 对于序列生成任务，通常使用 CrossEntropyLoss 处理每个时间步的预测
sequence_cross_entropy_loss = nn.CrossEntropyLoss()

5. 回归任务的正则化

任务: 通过将正则化项添加到损失函数来防止过拟合。

5.1 L2 正则化（权重衰减）

原理: 在损失函数中添加权重的平方和，鼓励较小的权重值。

公式:
$$\text{Regularized Loss}=\text{原始损失}+\lambda \sum _{j=1}^m{W}_j^2$$

PyTorch 代码:

import torch.optim as optim

# 定义模型
model = nn.Linear(10, 1)

# 定义优化器，并添加 L2 正则化（weight_decay）
optimizer = optim.SGD(model.parameters(), lr=0.01, weight_decay=0.01)

其他介绍

• 深度学习之激活函数