Logistic Regression（逻辑回归）、Maximum Likelihood Estimatio（最大似然估计）

逻辑回归（Logistic Regression，LR）

逻辑回归（Logistic Regression） 是一种广泛应用于分类问题的统计方法，尤其用于二分类问题（即预测目标变量有两个类别）。尽管它的名字中带有“回归”二字，但它实际上是一种分类算法。逻辑回归通过对输入特征进行建模，输出一个概率值，表示某个类别的可能性。

逻辑回归的基本思想

逻辑回归试图找出一个合适的数学模型，将输入特征 $X=(x_1,x_2,\dots ,x_n)$ 映射到目标标签 $Y$ 上。对于二分类问题，目标是根据输入特征预测 $Y=1$ 或 $Y=0$ 的概率。

逻辑回归的核心是 逻辑函数（Logistic Function） 或者称为 Sigmoid 函数，它将任何实数映射到 [0, 1] 之间，从而可以解释为概率。

逻辑回归模型

假设输入特征 $X=(x_1,x_2,\dots ,x_n)$ 和权重参数 $w=(w_1,w_2,\dots ,w_n)$，逻辑回归模型的输出是通过一个线性组合加上偏置项，输入到一个 Sigmoid 函数中：
$$z=w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n+b$$
然后，将 $z$ 通过 Sigmoid 函数 $\sigma (z)$ 转换为一个概率值：
$$P(Y=1\mid X)=\sigma (z)=\frac{1}{1+e^{-z}}$$

其中，$\sigma (z)$ 是 Sigmoid 函数，它将任何实数 $z$ 映射到 (0, 1) 之间，表示一个类别的概率。$P(Y=1\mid X)$ 就是预测样本属于类别1的概率。

• 如果 $P(Y=1\mid X)>0.5$，则预测类别为 1；
• 如果 $P(Y=1\mid X)\le 0.5$，则预测类别为 0。

逻辑回归的目标

在逻辑回归中，我们的目标是通过训练数据来学习最优的权重参数 $w_1,w_2,\dots ,w_n$ 和偏置项 $b$，使得模型能够准确地预测数据的类别。为此，我们使用最大似然估计（Maximum Likelihood Estimation, MLE）来估计这些参数。

最大似然估计

假设我们有 $m$ 个训练样本，每个样本的输入为 $X^{(i)}$，标签为 $Y^{(i)}$，其中 $i=1,2,\dots ,m$。

逻辑回归模型的似然函数是基于每个训练样本的预测概率和真实标签的结合。对于每个样本，预测的概率为 $P(Y=1\mid X^{(i)})$，因此整个训练集的似然函数为：
$$L(w,b)=\prod _{i=1}^{m}P(Y^{(i)}\mid X^{(i)};w,b)$$

因为 $Y^{(i)}$ 是 0 或 1，所以可以将似然函数写成：
$$L(w,b)=\prod _{i=1}^m\left[\sigma (z^{(i)}{)}^{Y^{(i)}}\cdot (1-\sigma (z^{(i)}){)}^{1-Y^{(i)}}\right]$$

为了方便优化，通常取对数似然函数（Log-Likelihood），得到：
$$\ell (w,b)=\sum _{i=1}^m\left[Y^{(i)}\log \sigma (z^{(i)})+(1-Y^{(i)})\log (1-\sigma (z^{(i)}))\right]$$

目标是最大化对数似然函数 $\ell (w,b)$，即找到使对数似然函数最大化的权重 $w$ 和偏置项 $b$。

优化方法

我们通常使用梯度下降法（Gradient Descent）来优化对数似然函数。梯度下降法通过计算损失函数（对数似然的负数）对模型参数的梯度来更新参数，以减小损失。

梯度下降更新规则为：
$$w_j\leftarrow w_j-\alpha \frac{\partial }{\partial w_j}\ell (w,b)$$
$$b\leftarrow b-\alpha \frac{\partial }{\partial b}\ell (w,b)$$

其中，$\alpha$ 是学习率。

逻辑回归的损失函数：对数损失

由于逻辑回归是基于最大似然估计的，因此它的损失函数通常称为对数损失（Log-Loss）或交叉熵损失（Cross-Entropy Loss），公式如下：
$$\mathcal{L}(w,b)=-\frac{1}{m}\sum _{i=1}^m\left[Y^{(i)}\log (\sigma (z^{(i)}))+(1-Y^{(i)})\log (1-\sigma (z^{(i)}))\right]$$

对数损失衡量的是预测的概率分布与真实标签之间的差距。损失函数的值越小，模型的预测越准确。

逻辑回归的应用

逻辑回归适用于以下场景：

• 二分类问题：例如，电子邮件分类（垃圾邮件与非垃圾邮件）、医疗诊断（是否患病）、银行贷款申请（是否批准）等。
• 多分类问题：通过多项式逻辑回归（Multinomial Logistic Regression）扩展，可以处理多类问题，常用于文本分类或图像分类。

逻辑回归的优缺点

优点

• 简单易懂：逻辑回归是一种线性模型，易于理解和实现。
• 高效：逻辑回归在训练数据量较小的情况下能表现得很好，计算速度较快。
• 概率输出：它不仅提供类别预测，还提供每个类别的概率，这对于很多应用场景非常有用。
• 可解释性强：模型参数（即权重）能够反映特征对预测结果的影响，便于进行模型解释。

缺点

• 线性假设：逻辑回归假设特征和目标之间的关系是线性的。如果数据呈现非线性关系，逻辑回归可能无法很好地拟合数据。
• 对异常值敏感：逻辑回归对异常值比较敏感，异常值可能会影响模型的性能。
• 特征相关性问题：逻辑回归对特征之间的相关性较为敏感，强相关的特征可能会导致多重共线性问题。

逻辑回归的扩展

• 多项式逻辑回归（Multinomial Logistic Regression）：用于多分类问题，模型的输出不是一个概率，而是多个类别的概率分布。
• 正则化（Regularization）：为了防止过拟合，可以在逻辑回归中加入L1或L2正则化项。L1正则化能生成稀疏解，L2正则化可以避免过大权重的出现。

逻辑回归的实现（Python 示例）

使用 scikit-learn 库，可以非常方便地实现逻辑回归模型：

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import load_iris
from sklearn.metrics import accuracy_score, classification_report

# 加载鸢尾花数据集
data = load_iris()
X = data.data  # 特征数据
y = data.target  # 标签数据

# 将标签转为二分类问题：1. "Setosa"（类别 0），2. 非 "Setosa"（类别 1）
y_binary = (y == 0).astype(int)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y_binary, test_size=0.3, random_state=42)

# 创建逻辑回归模型
model = LogisticRegression()

# 训练模型
model.fit(X_train, y_train)

# 打印训练后的模型参数
print(f"模型的权重 (w): {model.coef_}")
print(f"模型的偏置 (b): {model.intercept_}")

# 用测试集进行预测
y_pred = model.predict(X_test)

# 计算模型的准确率
accuracy = accuracy_score(y_test, y_pred)
print(f"模型的准确率: {accuracy * 100:.2f}%")

# 输出分类报告（精确率、召回率、F1分数等）
print("\n分类报告:")
print(classification_report(y_test, y_pred))

最大似然估计 (Maximum Likelihood Estimation, MLE)

最大似然估计（MLE） 是一种常用的统计方法，用于估计模型参数，使得在给定数据下，模型的概率最大化。简单来说，最大似然估计旨在找到最有可能生成观测数据的参数值。

MLE 是一种 参数估计方法，广泛应用于许多机器学习和统计建模中，尤其在 监督学习 和 概率模型 中应用广泛。

主要作用是利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。

当“模型已定，参数未知”时，通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。

最大似然估计的基本思想

假设我们有一组观测数据，记为 X = { x 1 , x 2 , … , x n } X = \{x_1, x_2, \dots, x_n\} X={x1​,x2​,…,xn​}，这些数据来自某个概率分布，该分布有一个参数 $\theta$。我们的目标是通过最大化 似然函数 来估计参数 $\theta$。

具体来说，假设我们已知数据的分布类型（比如高斯分布、伯努利分布等），但我们并不知道分布的具体参数。最大似然估计就是通过寻找一个参数 $\theta$，使得给定这个参数下，观测到的数据的概率最大。

似然函数

给定数据集 X = { x 1 , x 2 , … , x n } X = \{x_1, x_2, \dots, x_n\} X={x1​,x2​,…,xn​} 和模型的参数 $\theta$，似然函数（Likelihood Function）表示在给定参数 $\theta$ 下，观察到数据的概率。假设数据集中的样本独立且同分布（i.i.d.），则似然函数可以表示为：
$$L(\theta ;X)=P(X\mid \theta )=\prod _{i=1}^{n}P(x_i\mid \theta )$$

其中，$P(x_i\mid \theta )$ 是在参数 $\theta$ 下，样本 $x_i$ 出现的概率。

对数似然函数

由于似然函数通常涉及乘法，计算起来可能会很复杂。为了解决这个问题，我们通常使用 对数似然函数，因为对数函数是单调递增的，因此最大化似然函数和最大化对数似然函数是等价的。对数似然函数为：
$$\ell (\theta ;X)=\log L(\theta ;X)=\sum _{i=1}^n\log P(x_i\mid \theta )$$

对数似然函数将乘积转化为求和，计算更为简便。

最大化对数似然

最大似然估计的目标是找到一个参数值 $\hat{\theta }$，使得对数似然函数最大化，即：
$$\hat{\theta }=\arg \underset{\theta }{\max }\ell (\theta ;X)$$

这就是最大似然估计的核心思想：通过找到参数 $\theta$ 使得在该参数下，数据的对数似然值最大。

通过最大似然估计估计参数

示例 1：估计高斯分布的均值和方差

假设我们有一个来自高斯分布的数据集 X = { x 1 , x 2 , … , x n } X = \{x_1, x_2, \dots, x_n\} X={x1​,x2​,…,xn​}，我们想通过最大似然估计来估计其 均值 $\mu$ 和 方差 ${\sigma }^2$。

高斯分布的概率密度函数为：
$$P(x\mid \mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)$$

根据似然函数的定义，数据集的似然函数为：
$$L(\mu ,{\sigma }^2;X)=\prod _{i=1}^n\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}\right)$$

对似然函数取对数得到对数似然函数：
$$\ell (\mu ,{\sigma }^2;X)=\sum _{i=1}^n\left[-\frac{1}{2}\log (2\pi {\sigma }^2)-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}\right]$$

为了最大化对数似然函数，我们分别对 $\mu$ 和 ${\sigma }^2$ 求导，并令其为 0，得到最大似然估计的参数值。

1. 对 $\mu$ 求导：
   $$\frac{\partial \ell }{\partial \mu }=\sum _{i=1}^n\frac{x_i-\mu }{{\sigma }^2}=0$$
   解得：
   $$\hat{\mu }=\frac{1}{n}\sum _{i=1}^n{x}_i$$
   这就是样本均值的最大似然估计。

2. 对 ${\sigma }^2$ 求导：
   $$\frac{\partial \ell }{\partial {\sigma }^2}=-\frac{n}{2{\sigma }^2}+\frac{1}{2{\sigma }^4}\sum _{i=1}^n(x_i-\mu {)}^2=0$$
   解得：

$$\widehat{{\sigma }^2}=\frac{1}{n}\sum _{i=1}^n(x_i-\hat{\mu }{)}^2$$
这就是样本方差的最大似然估计。

示例 2：伯努利分布的最大似然估计

假设我们有一组来自 伯努利分布 的观测数据。伯努利分布的概率质量函数为：
$$P(x\mid p)=p^x(1-p{)}^{1-x}$$

其中， x ∈ { 0 , 1 } x \in \{0, 1\} x∈{0,1}，$p$ 是成功的概率。

假设我们有 $n$ 个独立的伯努利试验观测值 X = { x 1 , x 2 , … , x n } X = \{x_1, x_2, \dots, x_n\} X={x1​,x2​,…,xn​}，我们要估计参数 $p$。则似然函数为：
$$L(p;X)=\prod _{i=1}^n{p}^{x_i}(1-p{)}^{1-x_i}$$

对其取对数得到对数似然函数：
$$\ell (p;X)=\sum _{i=1}^n\left[x_i\log p+(1-x_i)\log (1-p)\right]$$

最大化对数似然函数，求导并令其为 0：
$$\frac{\partial \ell }{\partial p}=\sum _{i=1}^n\frac{x_i}{p}-\frac{1-x_i}{1-p}=0$$

解得：
$$\hat{p}=\frac{1}{n}\sum _{i=1}^n{x}_i$$

这就是样本中 1 的比例的最大似然估计。

最大似然估计的优点和局限

优点

• 一致性：随着样本数量 $n$ 的增加，最大似然估计趋近于真实的参数值（在大样本下是无偏的）。
• 有效性：MLE 是在满足正则条件下具有最小方差的估计量（在大样本下）。
• 广泛适用：最大似然估计可以用于各种类型的概率分布，不仅限于常见的分布（如高斯分布、伯努利分布等）。

局限

• 计算复杂度高：当样本量大或分布复杂时，最大似然估计的计算可能非常复杂，需要使用数值优化方法。
• 模型假设的依赖性：MLE 假设我们知道数据的分布类型，如果选择了错误的模型分布，估计结果可能会偏差。
• 需要大量数据：对于小样本数据，最大似然估计可能会导致过拟合，或者估计不准确。

参考资料

Simplifying Logistic Regression — A Beginner’s Guide with a Real-world Practical Example

【五分钟机器学习】机器分类的基石：逻辑回归Logistic Regression

最大似然估计（通俗讲解）