当前位置：首页 > article >正文

【机器学习】线性回归算法简介及数学实现方法

article 2024/10/9 12:11:17

线性回归

简介

利用回归方程(函数) 对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。
数学公式： ℎ_(w) = w_1x_1+ w_2x_2 + w_3x_3 + … + b = w^Tx+b

概念

利用回归方程(函数) 对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式

在这里插入图片描述

分类

一元线性回归、多元线性回归

在这里插入图片描述

应用场景

在这里插入图片描述

线性回归问题的求解

API简单介绍

在这里插入图片描述

损失函数

误差概念: 用预测值y – 真实值y就是误差

损失函数:衡量每个样本预测值与真实值效果的函数，也叫代价函数、成本函数、目标函数

损失函数误差最小,也就是损失函数的最优解为求解的回归方程

损失函数的种类:

在这里插入图片描述

求解线性回归问题流程:

数据-> 线性回归模型 -> 损失函数 -> 优化方法

正规方程法

这里用到数学知识,与程序训练无关,讲解模型求回归方程的底层数学逻辑

这里补充一个知识范数

范数:

在这里插入图片描述

一元线性回归解析解:

在这里插入图片描述

多元线性回归-方程法

在这里插入图片描述

梯度下降法

沿着梯度下降的方向求解极小值

在这里插入图片描述

梯度:

在这里插入图片描述

梯度下降公式:

在这里插入图片描述

α: 学习率(步长) 不能太大, 也不能太小. 机器学习中：0.001 ~ 0.01
梯度是上升最快的方向, 我们需要是下降最快的方向, 所以需要加负号

在这里插入图片描述

梯度下降法分类:

在这里插入图片描述

随机选择一个样本，假设选择 D 样本，计算其梯度值并存储到列表：[D]，然后使用列表中的梯度值均值，更新模型参数。
随机再选择一个样本，假设选择 G 样本，计算其梯度值并存储到列表：[D, G]，然后使用列表中的梯度值均值，更新模型参数。
随机再选择一个样本，假设又选择了 D 样本, 重新计算该样本梯度值，并更新列表中 D 样本的梯度值，使用列表中梯度值均值，更新模型参数。
…以此类推，直到算法收敛。