当前位置：首页 > article >正文

机器学习_11 线性回归知识点总结

article 2025/2/24 3:16:41

线性回归是机器学习中最基础、最经典的算法之一，广泛应用于预测连续数值型目标变量的场景。无论是数据分析、金融预测还是科学研究，线性回归都扮演着重要的角色。今天，我们就来深入探讨一下线性回归的原理、应用和实现。

一、线性回归的基本概念

1.1 定义与原理

线性回归是一种用于建立自变量（特征）与因变量（目标）之间线性关系的统计分析方法。它的目标是通过最小化预测值与真实值之间的误差，找到最佳的线性模型。简单线性回归模型可以用公式表示为：y = bo + b1 * x，其中y是因变量，x是自变量，bo是截距，b1是回归系数。而多元线性回归模型则扩展为：y = bo + b1 * x1 + b2 * x2 + ... + bp * xp，可以同时考虑多个自变量对因变量的影响。

1.2 基本假设

线性回归的有效性基于以下关键假设：

线性关系假设：自变量与因变量之间存在线性关系。
独立性假设：每个观测值之间相互独立。
常数方差假设：在自变量的每个取值点上，观测值的误差方差都是常数，即同方差性。
正态性假设：观测值的误差服从正态分布。

这些假设确保了线性回归模型的合理性和可靠性。如果数据不满足这些假设，可能需要进行数据转换或选择其他模型。

二、线性回归的数学描述与实现

2.1 简单线性回归的数学描述

简单线性回归模型的核心是找到合适的回归系数b0和b1，使得模型的预测误差最小化。通常采用最小二乘法（OLS）来估计这些系数，即使得观测值与模型预测值之间的残差平方和最小。

2.2 最小二乘法（OLS）

最小二乘法的目标是通过最小化残差平方和来确定最佳拟合线。其公式为：min Σ(yi - (b0 + b1 * xi))^2，其中yi是观测值，xi是自变量，b0和b1是需要估计的参数。最小二乘法的解可以通过以下公式得到：b1 = Σ((xi - x̄)(yi - ȳ)) / Σ((xi - x̄)^2) 和 b0 = ȳ - b1 * x̄，其中x̄和ȳ分别是自变量和因变量的均值。

2.3 残差的作用

残差是指每个观测值的真实值与模型预测值之间的差异。在线性回归中，残差的最小化是模型优化的核心目标。通过最小化残差，模型能够更好地拟合数据，提高预测的准确性。

2.4 拟合优度的衡量

R平方（R-squared）：衡量模型对数据拟合程度的指标，取值范围在0到1之间。R平方值越接近1，表示模型对数据的解释能力越强。
调整后的R平方（Adjusted R-squared）：对R平方进行修正，考虑了自变量的数量。它避免了因增加无关自变量而导致的R平方虚高问题。

三、线性回归的实现与案例

3.1 Python实现

以下是使用Python和Scikit-Learn库实现简单线性回归的代码示例：

import numpy as np
from sklearn.linear_model import LinearRegression

# 创建示例数据
X = np.array([1, 2, 3, 4, 5]).reshape(-1, 1)  # 自变量
y = np.array([2, 4, 5, 4, 5])  # 因变量

# 创建线性回归模型
model = LinearRegression()

# 拟合模型
model.fit(X, y)

# 打印回归系数和截距
print("回归系数 (b1):", model.coef_)
print("截距 (b0):", model.intercept_)

# 预测新数据点
new_x = np.array([6]).reshape(-1, 1)
predicted_y = model.predict(new_x)
print("新数据点的预测值:", predicted_y)