当前位置：首页 > article >正文

详解机器学习经典模型(原理及应用)——岭回归

article 2024/11/15 9:17:24

一、什么是岭回归

岭回归（Ridge Regression），也称为Tikhonov正则化（Tikhonov Regularization），是一种专门用于处理多重共线性（特征之间高度相关）问题的线性回归改进算法，显然它是一个回归模型。在多重共线性的情况下，数据矩阵可能不是满秩的，这意味着矩阵不可逆，因此不能直接使用普通最小二乘法（Ordinary Least Squares，OLS）来估计模型参数。岭回归通过在损失函数中添加一个正则化项（惩罚项）来解决这个问题。

二、岭回归模型建模流程

1、定义损失函数

岭回归的损失函数是残差平方和（RSS）与正则化项的和。残差平方和是模型预测值与实际值之差的平方和，而正则化项是模型参数的L2范数（平方和）。岭回归的损失函数可以表示为：

$L(\theta ) = \sum_{i=1}^{n}(y_{i}-\sum_{j=1}^{m}\theta _{j}x_{ij})^{2} + \lambda \sum_{j=1}^{m}\theta _{j}^{2}$

其中，n是样本数量，m是特征数量， $y_{i}$ 是第i个样本的目标值， $x_{ij}$ 是第i个样本的第j个特征值， $\theta _{j}$ 是第j个特征的权重， $\lambda$ 是正则化参数，控制正则化项的强度。正则化项的公式为后半部分，即：

$\lambda \sum_{j=1}^{m}\theta _{j}^{2}$

正则化项的作用是惩罚模型参数的大小。当 $\lambda$ 增大时，正则化项的影响增大，参数 $\theta$ 趋向于较小的值，这有助于减少模型的复杂度和过拟合的风险。正则化项也可以使模型在面对多重共线性时更加稳定。在没有正则化（即 $\lambda$ =0）的情况下，岭回归退化为普通最小二乘回归。

2、构建设计矩阵

设计矩阵X是一个n×m的矩阵，其中每一行代表一个样本，每一列代表一个特征。通常在设计矩阵中加入一列值为1的偏置项，以便模型包含截距项。

3、参数估计

岭回归的参数估计可以通过最小化损失函数来实现。由于损失函数是二次的，因此可以通过解析方法直接求解（比梯度下降更方便）。具体来说，岭回归的参数可以通过以下公式计算得到：

$\theta = (X^{T}X+\lambda I)^{-1}X^{T}y$

其中，X是设计矩阵，y是目标值向量， $\lambda$ 是正则化参数， $I$ 是单位矩阵。这个公式提供了一个闭式解，意味着可以直接计算出参数 $\theta$ ，而不需要进行迭代搜索计算。在实际应用中，直接计算 $(X^{T}X+\lambda I)^{-1}$ 可能会遇到数值稳定性问题，尤其是当 $X^{T}X$ 接近奇异或不可逆时。为了解决这个问题，可以使用奇异值分解（SVD）或其他数值稳定的方法来计算参数，当然这在scikit-learn之类的库内部已经默认使用了稳定的数值方法来求解参数，不需要人工进行迭代。

4、模型评估

参数被计算出来之后，就可以使用它们来对新数据进行预测，并评估模型的性能。通常使用均方误差（MSE）或决定系数（R²）等指标来评估模型。

5、超参数选择

正则化参数 $\lambda$ 的选择对模型性能有很大影响，可以通过交叉验证来选择最佳的 $\lambda$ 值。

三、模型应用

这里使用经典的波士顿房价数据进行回归建模。

# 导入必要的库
from sklearn.datasets import load_boston
from sklearn.linear_model import Ridge
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

# 加载波士顿房价数据集
boston = load_boston()
X, y = boston.data, boston.target

# 划分数据集为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建岭回归模型实例，设置正则化参数alpha（就是公式中的λ）
ridge_reg = Ridge(alpha=1.0)

# 训练模型
ridge_reg.fit(X_train, y_train)

# 在测试集上进行预测
y_pred = ridge_reg.predict(X_test)

# 计算均方误差（MSE）
mse = mean_squared_error(y_test, y_pred)
print(f'Mean Squared Error: {mse:.2f}')

# 可选：打印模型参数
print(f'Model coefficients: {ridge_reg.coef_}')
print(f'Model intercept: {ridge_reg.intercept_}')