当前位置：首页 > article >正文

逻辑回归算法

article 2024/11/19 11:15:53

逻辑回归是一种用于解决二分类问题的机器学习算法。它的目标是根据输入数据预测输出结果的概率，通常用于分类问题中。

逻辑回归的基本思想是将输入数据通过一个线性模型，然后将线性模型的输出值通过一个sigmoid函数映射到0到1的范围内，表示为预测结果的概率值。具体来说，假设输入数据为 $x$ ，模型参数为 $w$ 和 $b$ ，则其输出结果可以表示为：

$\hat{y} = \sigma(w^Tx + b)$

其中， $\sigma(\cdot)$ 表示sigmoid函数，定义为：

$\sigma(z) = \frac{1}{1+e^{-z}}$

sigmoid函数的输出值在0到1的范围内，可以被解释为预测结果为正例的概率。

在训练逻辑回归模型时，通常使用最大似然估计法（Maximum Likelihood Estimation，MLE）来估计模型参数 $w$ 和 $b$ ，使得模型的预测结果与真实标签之间的差异最小化。具体来说，MLE的目标是最大化所有训练样本上的似然函数：

$\prod_{i=1}^n P(y_i|x_i;w,b)$

其中， $P(y_i|x_i;w,b)$ 表示在给定输入 $x_i$ 的情况下，预测结果为 $y_i$ 的概率。由于这里的输出结果 $y_i$ 只有两个取值，因此可以将 $P(y_i|x_i;w,b)$ 表示为：

$P(y_i|x_i;w,b) = \hat{y}_i^{y_i}(1-\hat{y}_i)^{1-y_i}$

其中， $\hat{y}_i$ 表示模型对 $x_i$ 的预测结果。

最终，MLE的目标可以转化为最小化负对数似然：

$-\frac{1}{n}\sum_{i=1}^n [y_i\log(\hat{y}_i) + (1-y_i)\log(1-\hat{y}_i)]$

通过梯度下降等优化算法，可以求解出最优的模型参数 $w$ 和 $b$ ，从而得到一个可以用于分类的模型。

import numpy as np

def sigmoid(x):
return 1/(1+np.exp(-x))

if name == "main":
# -------------毛发长,腿长
dogs = np.array([[8.9,12],[9,11],[10,13],[9.9,11.2],[12.2,10.1],[9.8,13],[8.8,11.2]],dtype = np.float32) # 0
cats = np.array([[3,4],[5,6],[3.5,5.5],[4.5,5.1],[3.4,4.1],[4.1,5.2],[4.4,4.4]],dtype = np.float32) # 1

labels = np.array([0]*7 + [1]* 7,dtype = np.int32).reshape(-1,1)

X = np.vstack((dogs,cats))

k = np.random.normal(0,1,size=(2,1))
b = 0
epoch = 1000
lr = 0.05

for e in range(epoch):
    p = X @ k + b
    pre = sigmoid(p)

    loss = -np.sum(labels * np.log(pre) + (1-labels) * np.log(1-pre))

    G = pre - labels
    delta_k = X.T @ G
    delta_b = np.sum(G)

    k = k - lr * delta_k
    b = b - lr * delta_b
    print(loss)

while True:
    f1 = float(input('请输入毛发长:'))
    f2 = float(input("请输入腿长:"))

    test_x = np.array([f1,f2]).reshape(1,2)
    p = sigmoid(test_x @ k + b )
    if p >0.5:
        print("类别: 猫")
    else:
        print("类别: 狗")