MSE Loss、BCE Loss
MSE 均方误差
pytorch官网中的介绍
measures the mean squared error (squared L2 norm) between each element in the input
x
x
x and target
y
y
y.
即均方误差，回归问题解决的是对具体数值的预测，使用于回归问题下的损失函数。
使用示例：
loss = nn.MSELoss()
input = torch.randn(3, 5, requires_grad=True)
target = torch.randn(3, 5)
output = loss(input, target)
output.backward()
使用MSE损失函数，受离群点的影响较大。
MAE 平均绝对误差
MAE受离群点的影响较小，拟合直线能较好的表征正常数据的分布情况。
从求解梯度的复杂度来讲，MSE要优于MAE，能够较快达到收敛。
BCE
CE主要适用于二分类的任务，而且多标签分类任务可以简单地理解为多个二元分类任务叠加。所以BCE经过简单修改也可以适用于多标签分类任务。使用BCE之前，需要将输出变量量化在[0，1]之间（可以使用Sigmoid激活函数）
参考
【损失函数】MSE, MAE, Huber loss详解