【机器学习】线性回归 线性回归模型的损失函数 MSE RMSE MAE R方
线性回归模型的损失函数
- V1.0
- 损失函数的计算方法
- 损失函数的分类
- MSE (Mean Squared Error)
- RMSE (Root Mean Squared Error)
- MAE (Mean Average Error)
- R 2 R^2 R2 (Coefficient of Determination)
- 损失函数的用途
V1.0
损失函数的计算方法
线性回归模型的单一特征向量的损失为
y
i
r
e
a
l
−
y
i
p
r
e
d
i
c
t
y_{i_{real}}-y_{i_{predict}}
yireal−yipredict，即特征标签真实值减去特征的预测值。
总体损失为单一特征向量的损失进行投票的结果，根据投票方式的不同，得到不同的损失函数。
损失函数的分类
在实际使用中经常使用的损失函数
- MSE (Mean Squared Error) 均方误差
- RMSE (Root Mean Squared Error) 均方根误差
- MAE (Mean Average Error) 平均绝对误差
- R 2 R^2 R2 (Coefficient of Determination) R方误差
MSE (Mean Squared Error)
公式如下：
1
n
∑
i
=
1
m
(
y
r
e
a
l
−
y
p
r
e
d
i
c
t
)
2
\frac{1}{n}\sum_{i=1}^{m}(y_{real}-y_{predict})^2
n1i=1∑m(yreal−ypredict)2
MSE是最常用的线性回归模型的损失函数。
RMSE (Root Mean Squared Error)
公式如下：
1
n
∑
i
=
1
m
(
y
r
e
a
l
−
y
p
r
e
d
i
c
t
)
2
\sqrt{\frac{1}{n}\sum_{i=1}^m(y_{real}-y_{predict})^2}
n1i=1∑m(yreal−ypredict)2
RMSE即MSE取平方根，因为MSE在求解时，特征向量的偏差越大，对损失值的贡献也越大，是平方级别的，RMSE取MSE的平方根可以消除量纲的影响。
MAE (Mean Average Error)
公式如下：
1
n
∑
i
=
1
m
∣
y
r
e
a
l
−
y
p
r
e
d
i
c
t
∣
\frac{1}{n}\sum_{i=1}^m|y_{real}-y_{predict}|
n1i=1∑m∣yreal−ypredict∣
R 2 R^2 R2 (Coefficient of Determination)
公式如下：
1
−
∑
(
y
r
e
a
l
−
y
p
r
e
d
i
c
t
)
2
∑
(
y
r
e
a
l
−
y
ˉ
)
2
1-\frac{\sum(y_{real}-y_{predict})^2}{\sum(y_{real}-\bar{y})^2}
1−∑(yreal−yˉ)2∑(yreal−ypredict)2
R方损失的上界为1，在此时分式的分子为0，即所有预测数据与真实数据均相等，在数据偏差很大时，即分子大于分母时，R方损失可能会小于0。
R方损失公式中的分子，如果乘以
1
n
\frac{1}{n}
n1，就会变成MSE (
1
n
∑
(
y
r
e
a
l
−
y
p
r
e
d
i
c
t
)
2
\frac{1}{n}\sum(y_{real}-y_{predict})^2
n1∑(yreal−ypredict)2)。分母如果乘以
1
n
\frac{1}{n}
n1就会变成方差 (
∑
(
y
r
e
a
l
−
y
ˉ
)
2
{\sum(y_{real}-\bar{y})^2}
∑(yreal−yˉ)2) 。
因此，R方损失也可以记为：
1
−
M
S
E
V
a
r
i
a
n
c
e
1-\frac{MSE}{Variance}
1−VarianceMSE
损失函数的用途
MSE，RMSE和MAE常用作线性模型求解时的损失函数。
R方经常被用来评价线性回归模型。