损失函数-二分类和多分类

二分类和多分类的损失函数

二分类

• 损失函数
  $$L(y,\hat{y})=-(ylog(\hat{y}))+(1-y)log(1-\hat{y})$$
  其中真实标签表示为y（取值为 0 或 1），预测概率表示为$\hat{y}$（取值在 0 到 1 之间）

• 代码

import torch
import torch.nn as nn

criterion = nn.BCELoss()  # 或者使用 nn.BCEWithLogitsLoss()  BCEWithLogitsLoss可以直接接收logit输出
# 假设模型的输出 logits
logits = torch.tensor([0.2, 0.8, 0.5, 0.1]) #shape: (4, 1) 
predicted_probabilities = torch.sigmoid(logits) #shape: (4, 1) 
# 真实标签
labels = torch.tensor([0.0, 1.0, 1.0, 0.0]) #shape: (4, 1) 
# 计算损失
loss = criterion(predicted_probabilities, labels)
print("Loss:", loss.item())

• 可视化损失值
  对于输出的loss值，我们往往不能理解这个loss是好还是坏，我们重看损失函数，发现对于单个正样本来说：
  $$loss=-log(\hat{y})$$
  对于单个负样本来说：
  $$loss=-log(1-\hat{y})$$
  从这个公式我们可以反推模型对正样本预测的概率为：
  $$hi{t}_{pos}=e^{-loss}$$
  对负样本预测的概率为：
  $$hi{t}_{neg}=1-e^{-loss}$$
  这个hit就比较形象了，$hit_{pos}$越接近1，说明正样本的预测效果效果越好，$hit_{neg}$越接近0，说明负样本的预测效果效果越好

多分类

• 损失函数
  $$L(y,\hat{y})=-\sum _{c=1}^{C}ylog(\hat{y})$$
  其中真实标签表示为y（取值为 0 或 1，表示是否属于第c类），预测概率表示为$\hat{y}$ （取值在 0 到 1 之间）
• 代码

import torch
import torch.nn as nn

criterion = nn.CrossEntropyLoss()

# 假设模型的输出 logits（未经过 sigmoid）
logits = torch.tensor([[1.0, 2.0],  # 类别 0 和 1 的 logits
                       [0.0, 1.0],
                       [0.5, 0.5],
                       [0.0, 0.0]]) # shape：（4，2）

# 真实标签，格式为类别索引
# 0 表示第一个类别，1 表示第二个类别
labels = torch.tensor([1, 1, 0, 0])  # shape：（1，4）

# 计算损失
loss = criterion(logits, labels)

print("Loss:", loss.item())

• 可视化损失值
  对于输出的loss值，我们往往不能理解这个loss是好还是坏，我们重看损失函数，发现对于单个样本来说：
  $$loss=-log(\hat{y})$$
  从这个公式我们可以反推模型对当前样本的正确类别预测的概率为：
  $$hit=e^{-loss}$$
  这个hit就比较形象了，hit越接近1，说明效果越好

二分类和多分类区别

• 从损失函数的物理含义上来看，二分类的损失函数不仅希望正样本输出概率接近1，并且希望负样本的输出概率接近0；而多分类的损失函数仅仅希望正样本输出概率接近1，对于负样本其实没有约束
• 对于二分类问题：如果你希望模型不仅能找出正样本，而且筛掉副样本，就用二分类损失。如果你仅仅希望找出正样本而不管负样本，多分类的损失也能用。

多分类问题中评价问题

TP（True Positive）：真实标签为正类，模型预测为正类的样本数量。
TN（True Negative）：真实标签为负类，模型预测为负类的样本数量。
FP（False Positive）：真实标签为负类，但模型预测为正类的样本数量。
FN（False Negative）：真实标签为正类，但模型预测为负类的样本数量。

• 准确率acc
  关心模型预测的能力
  $$acc=\frac{TP+TN}{TP+FP+FN+TN}$$

• 精准率pre
  关心模型预测负样本能力
  $$pre=\frac{TP}{TP+FP}$$

• 召回率Recall
  关心模型预测正样本的能力
  $$recall=\frac{TP}{TP+FN}$$