线性回归模型标准公式
用一组特征
x
(
i
)
{ x^{(i)}}
x(i)来预测或估计一个响应变量
y
(
i
)
y^{(i)}
y(i)，公式如下：
y
(
i
)
=
θ
T
x
(
i
)
+
ϵ
(
i
)
y^{(i)} = \theta^T x^{(i)} + \epsilon^{(i)}
y(i)=θTx(i)+ϵ(i)
各名词解释：
y
(
i
)
y^{(i)}
y(i)：这是第
i
i
i个观察点的响应变量，也就是我们想要预测的目标值。
x
(
i
)
{ x^{(i)}}
x(i)：这是一个特征向量，包含了与第
i
i
i个观察点相关的所有特征值。例如，在房价预测模型中，这些特征可能包括房屋的大小、位置、房间数量等。
θ
θ
θ：这是一个参数向量，包含了每个特征对预测结果
y
(
i
)
y^{(i)}
y(i)影响的权重。在机器学习中，这些权重通常是通过训练数据学习得到的。
θ
T
θ^T
θT：这表示参数向量
θ
θ
θ的转置。在数学中，一个列向量的转置变为行向量。在这个公式中，它允许我们将
θ
θ
θ与特征向量
x
(
i
)
{ x^{(i)}}
x(i)相乘，得到一个标量值。
ϵ
(
i
)
\epsilon^{(i)}
ϵ(i)：这代表误差项，是实际响应值
y
(
i
)
y^{(i)}
y(i)与通过模型预测的
θ
T
x
(
i
)
\theta^T x^{(i)}
θTx(i)之间的差异。在现实世界中，数据往往不会完美地落在一条直线上，误差项就是用来捕捉这些无法通过模型解释的变异性。
将这些组件结合起来， θ T x ( i ) \theta^T x^{(i)} θTx(i)表示给定特征向量 x ( i ) { x^{(i)}} x(i)时，模型预测的响应值。当我们把所有的特征 x ( i ) { x^{(i)}} x(i)与它们对应的权重 θ θ θ相乘并求和时，我们就得到了一个数值，这个数值是响应变量的预测值，或者说是我们期望的 y y y值。
而 y ( i ) y^{(i)} y(i)是实际观测到的响应值。理想情况下，如果模型是完美的，那么 ϵ ( i ) \epsilon^{(i)} ϵ(i)将会是0，这意味着所有的观测值都完全位于由参数向量 θ θ θ定义的模型预测的线上。然而，实际情况是，数据会有一些随机性或者是由于模型无法捕捉的因素造成的变异，这就是为什么我们需要 ϵ ( i ) \epsilon^{(i)} ϵ(i)来表示这些偏差。
在进行线性回归分析时，我们的目标是找到最佳的参数向量 θ θ θ，使得误差项的平方和最小，这也就是最小二乘法的原理。通过这种方式，模型能够尽可能准确地拟合训练数据，同时也能够对新的未见过的数据进行有效的预测。