当前位置: 首页 > article >正文

基于PyTorch的深度学习4——使用numpy实现机器学习vs使用Tensor及Antograd实现机器学习

首先,给出一个数组x,然后基于表达式y=3x2+2,加上一些噪音数据到达另一组数据y。然后,构建一个机器学习模型,学习表达式y=wx2+b的两个参数w、b。利用数组x,y的数据为训练数据。最后,采用梯度梯度下降法,通过多次迭代,学习到w、b的值。以下为具体步骤:

1)导入需要的库。

import numpy as np
%matplotlib inline
from matplotlib import pyplot as plt

2)生成输入数据x及目标数据y

设置随机数种子,方便多种方法进行比较

np.random.seed(100)

x=np.linspace(-1,1,100).reshape(100,1)#我们把原本一维的、有100个元素的数组转换成了一个具有100行# 和1列的二维数组,也就是一个列向量。

y=3*np.power(x,2)+2+0.2*np.random.rand(x.size).reshape(100,1)
#创建了一个新的变量 y,它表示的是基于 x 计算出的一个二次多项式 y=3x^2+2,再加上一些小的随机噪声,这些噪声的大小在 [0, 0.2) 范围内随机变化。

3)初始化权重参数

w1=np.random.rand(1,1)
b1=np.random.rand(1,1)

4) 训练模型

定义损失函数,假设批量大小为100,对损失函数求导,利用梯度下降法学习参数(学习率为lr)

import numpy as np

# 假设 x, y 已经定义好
# 初始化参数
w1 = np.random.randn()  # 随机初始化权重
b1 = np.random.randn()  # 随机初始化偏置
lr = 0.001  # 学习率

for i in range(800):  # 迭代800次
    # 前向传播
    y_pred = np.power(x, 2) * w1 + b1
    
    # 定义损失函数
    loss = 0.5 * np.sum((y_pred - y) ** 2)
    
    # 计算梯度
    grad_w = np.sum((y_pred - y) * np.power(x, 2))
    grad_b = np.sum(y_pred - y)
    
    # 使用梯度下降法更新参数
    w1 -= lr * grad_w
    b1 -= lr * grad_b

这个过程实际上是在寻找使得预测值 y_pred 尽可能接近真实值 y 的最佳参数组合 (w1, b1)。通过不断调整这些参数,我们可以逐渐减小损失函数的值,从而提高模型的准确性。

________________________________________________________________________

本节我们将使用PyTorch的一个自动求导的包——antograd,利用这个包及对应的Tensor,便可利用自动反向传播来求梯度,无须手工计算梯度。以下是具体实现代码。

1)导入需要的库。

import torch as t
%matplotlib inline
from matplotlib import pyplot as plt

2)生成训练数据,并可视化数据分布情况

t.manual_seed(100)
dtype=t.float

#生成x坐标数据,x为tensor,需要把x的形状转换为100x1
x=t.unsqueeze(torch.linspace(-1,1,100),dim=1)

#生成y坐标数据,y为tensor,形状为100x1,另外加上一些噪声
y=3*.x.pow(2)+2+0.2*torch.rand(x.size())

3) 初始化权重参数

# 参数w,b为需要学习,所以requires_grad=True
w=t.randn(1,1,dtype=dtype,requires_grad=True)
b=t.zeros(1,1,dtype=dtype,requires_grad=True)

4)训练模型

import torch as t

# 假设 x, y, w, b 已经定义好,并且 w 和 b 需要是 requires_grad=True 的张量
lr = 0.001  # 学习率

for ii in range(800):
    # 前向传播,并定义损失函数 loss
    y_pred = x.pow(2).mm(w) + b
    loss = 0.5 * (y_pred - y).pow(2).sum()

    # 自动计算梯度,梯度保存在 grad 属性中
    loss.backward()

    # 手动更新参数,需要用 torch.no_grad(),使上下文环境中切断自动求导的计算
    with t.no_grad():
        w -= lr * w.grad
        b -= lr * b.grad

        # 梯度清零
        w.grad.zero_()
        b.grad.zero_()
  • 使用 torch.no_grad() 上下文管理器来临时禁用自动求导,以便在不需要跟踪这些操作的情况下更新权重和偏置。这是因为我们只希望向前传递时记录操作用于自动求导,而在更新权重时则不需要。
  • w -= lr * w.grad 和 b -= lr * b.grad:按照梯度下降的方式更新权重和偏置。
  • w.grad.zero_() 和 b.grad.zero_():在每次更新之后,需要手动将梯度清零,否则梯度会累积,导致错误的更新步骤。

http://www.kler.cn/a/584434.html

相关文章:

  • LuaJIT 学习(2)—— 使用 FFI 库的几个例子
  • SpringBoot3+Lombok如何配置logback输出日志到文件
  • 深入解析 React 最新特性:革新、应用与最佳实践
  • 若依框架二次开发——若依微服务打包时如何分离 JAR 包和资源文件
  • 基于传统算法的半导体晶圆缺陷检测原理及代码(二)
  • Spring中的配置文件参数化与类型转换器实现详解
  • Maven 构建 项目测试
  • Qt常用控件之垂直布局QVBoxLayout
  • Leetcode9-回文数
  • 解决:外部调用存储过程时突然变慢,但是在sql server运行很快
  • ChromeOS 134 版本更新
  • 专业视角:set 和 multiset的原理与应用解析
  • (2025|ICLR|厦大华为,LoSA,基于表示互信息的动态层级稀疏率,基于重构误差的秩分配)LLM 的动态低秩稀疏自适应
  • SQL Server数据库基于SQL性能优化
  • 迪威 3D 模型发布系统:制造业产品展示革新利器
  • 批量给 Excel 添加或删除密码保护|Excel 批量设置打开密码和只读密码
  • 【3dmax笔记】008:选择工具
  • 数字隔离器,如何提升储能系统的安全与效能?
  • k8s集群中部署dcgm-exporter收集GPU指标
  • 5-27 临摹大师-IP-Adapter