当前位置：首页 > article >正文

逻辑回归与线性回归的目标函数和应用场景比较

article 2024/11/14 21:10:59

概述

逻辑回归和线性回归是两种常用的预测模型，它们在目标函数和应用场景上存在显著差异。本文将详细比较这两种回归模型，并提供相应的代码示例。

线性回归

线性回归是一种预测连续数值的模型，其目标是找到特征( X )和目标变量( Y )之间的线性关系。线性回归的目标函数是最小化预测值和实际值之间的平方差，即均方误差（MSE）。

目标函数

线性回归的损失函数是均方误差：

[ J(\theta) = \frac{1}{2m} \sum_{i=1}^{m} (h_\theta(x^{(i)}) - y^{(i)})2 ]

其中，( h_\theta(x) = \theta^T x )是模型的预测函数，( m )是样本数量，( \theta )是模型参数。

应用场景

线性回归适用于以下场景：

预测连续值：如房价、温度、销售额等。
变量关系建模：分析特征和目标变量之间的线性关系。

代码示例

以下是使用Python的scikit-learn库实现线性回归的示例代码：

from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
import numpy as np

# 示例数据
X = np.array([[1], [2], [3], [4]])
y = np.array([2, 4, 6, 8])

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建线性回归模型
lin_reg = LinearRegression()

# 训练模型
lin_reg.fit(X_train, y_train)

# 预测测试集
y_pred = lin_reg.predict(X_test)

# 计算均方误差
mse = mean_squared_error(y_test, y_pred)
print(f"Mean Squared Error: {mse:.2f}")

逻辑回归

逻辑回归是一种预测分类结果的模型，其目标是找到特征( X )和目标变量( Y )之间的逻辑关系。逻辑回归的目标函数是最小化交叉熵损失。

目标函数

逻辑回归的损失函数是交叉熵损失：

[ J(\theta) = -\frac{1}{m} \sum_{i=1}^{m} [y^{(i)} \log(h_\theta(x^{(i)})) + (1 - y^{(i)}) \log(1 - h_\theta(x^{(i)}))] ]

其中，( h_\theta(x) = \frac{1}{1 + e^{-\thetaT x}} )是模型的预测函数，( m )是样本数量，( \theta )是模型参数。

应用场景

逻辑回归适用于以下场景：

二分类问题：如垃圾邮件检测、疾病诊断等。
概率预测：输出结果可以解释为概率。

代码示例

以下是使用Python的scikit-learn库实现逻辑回归的示例代码：

from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 示例数据
X = np.array([[1, 2], [2, 3], [3, 4], [4, 5]])
y = np.array([0, 0, 1, 1])

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建逻辑回归模型
log_reg = LogisticRegression()

# 训练模型
log_reg.fit(X_train, y_train)

# 预测测试集
y_pred = log_reg.predict(X_test)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f"Accuracy: {accuracy:.2f}")