当前位置：首页 > article >正文

梯度计算（MATLAB和pytorch实例）

article 2025/2/24 13:18:53

梯度计算概述
梯度计算的原理
对于离散数据而言
- 一维离散数据的梯度近似
  - 前向差分（Forward Difference）
  - 后向差分（Backward Difference）
  - 中心差分（Central Difference）
- 二维离散数据的梯度近似
- 多维扩展（以三维为例）
- 误差分析与步长选择

梯度计算概述

梯度计算是数学和工程中的基础工具，梯度计算通常用于图像处理、数值分析和优化等领域。梯度可以帮助我们了解函数值的变化率。

梯度在科学与工程中广泛应用，例如：

优化算法：梯度下降法（Gradient Descent）利用负梯度方向寻找函数最小值。
物理场分析：电场、重力场的梯度表示场强的变化方向。
图像处理：边缘检测通过梯度识别像素值的突变方向。

下面是个二维函数：

$f(x,y)={{x}^{2}}+{{y}^{2}}$

使用MATLAB输出结果矩阵和三维图形：

z_func_mesh

为了计算二维函数 $f(x,y)={{x}^{2}}+{{y}^{2}}$ 在某一点的梯度，我们需要求出该函数在 x 和 y 方向上的偏导数，并将它们组合成一个向量。

将 y 视为常数，对 x 求导：

$\frac{\partial f}{\partial x}=\frac{\partial }{\partial x}({{x}^{2}}+{{y}^{2}})=2x$

将 x 视为常数，对 y 求导：

$\frac{\partial f}{\partial y}=\frac{\partial }{\partial y}({{x}^{2}}+{{y}^{2}})=2y$

组合偏导数形成梯度向量

梯度向量由上述两个偏导数组成

$▽f=(\frac{\partial f}{\partial x},\frac{\partial f}{\partial x})=(2x,2y)$

由此可得，二维函数 $f(x,y)={{x}^{2}}+{{y}^{2}}$ 在任意一点 $(x, y)$ d 梯度 $▽ f = (2 x, 2 y)$

**总结：**对于函数 $f(x,y)={{x}^{2}}+{{y}^{2}}$ 来说，它的梯度标量上的含义即是各自在x轴和y轴方向上的偏导数；两者组合成一个在二维平面上的向量；从而在三维空间上表示此函数所描绘的曲平面的斜率和斜率的方向。

梯度计算的原理

数学定义

梯度是多元函数的导数推广，表示函数在某一点处所有方向上的最大变化率。对于函数 $f({x}_{1},{x}_{1},...,{x}_{1})$ ,其梯度是一个向量：

$∇f=\left ({\frac{\partial f}{\partial {{x}_{1}}},\frac{\partial f}{\partial {{x}_{2}}},...\frac{\partial f}{\partial {{x}_{n}}},}\right )$

方向指向函数值增长最快的方向，模长为该方向的变化率。

对于离散数据而言

一维离散数据的梯度近似

假设有一维离散数据点 $f({x}_{i})$ ，步长为 $h={x}_{i+1}-{x}_{i}$ ，梯度（导数）的近似方法有三种：

前向差分（Forward Difference）

${{f}^{'}}({{x}_{i}})≈\frac{f({{x}_{i+1}})-f({{x}_{i}})}{h}$

特点：仅用右侧相邻点，计算简单，但精度较低（一阶误差 $O (h)$ ）。

后向差分（Backward Difference）

${{f}^{'}}({{x}_{i}})≈\frac{f({{x}_{i}})-f({{x}_{i-1}})}{h}$

特点：仅用左侧相邻点，计算简单，但精度较低（一阶误差 $O (h)$ ）。

中心差分（Central Difference）

${{f}^{'}}({{x}_{i}})≈\frac{f({{x}_{i+1}})-f({{x}_{i-1}})}{2h}$

特点：利用左右两侧点，精度更高（二阶误差 $O({h}^{2})$ ），但需要更多数据。

二维离散数据的梯度近似

对二维网格数据 $f({x}_{i})$ ，需分别计算 x 和 y 方向的偏导数，再组合成梯度向量

$∇f=\left ({\frac{\partial f}{\partial {{x}}},\frac{\partial f}{\partial {{y}}}}\right )$

计算 x 方向的偏导数

中心差分公式（假设网格均匀，步长 ${h}_{x}$ ）

$\frac{\partial f}{\partial x}({{x}_{i}},{{y}_{i}})≈\frac{f({{x}_{i+1}},{{y}_{i}})-f({{x}_{i-1}},{{y}_{i}})}{2{{h}_{x}}}$

计算 y 方向的偏导数

中心差分公式（假设网格均匀，步长 ${h}_{y}$ ）

$\frac{\partial f}{\partial y}({{x}_{i}},{{y}_{i}})≈\frac{f({{x}_{i}},{{y}_{i+1}})-f({{{x}_{i}},{y}_{i-1}})}{2{{h}_{x}}}$

边界点的处理

边缘点（如 ${x}_{0}$ ${y}_{0}$ ）无法使用中心差分，需改用前向或后向差分：

$\frac{\partial f}{\partial y}({{x}_{0}},{{y}_{i}})≈\frac{f({{x}_{1}},{{y}_{i}})-f({{{x}_{0}},{y}_{i}})}{{{h}_{x}}}$

假设均匀网格数据 $f(x,y)={{x}^{2}}+{{y}^{2}}$ 网格步长 ${h}_{x}={h}_{y}=1$ ，计算点（2，3）的梯度：

计算
$\frac{\partial f}{\partial x}$

$f (1, 3) = 10$ ， $f (3, 3) = 18$ ， $(18 - 10) /2 = 4$ ;

计算
$\frac{\partial f}{\partial y}$

$f (2, 2) = 8$ ， $f (2, 4) = 20$ ， $(20 - 8) /2 = 6$ ;

所以点（2，3）的梯度： $▽ f = (4, 6)$ ，与理论值一致。

使用pytorch进行验证

import torch

# 定义变量并启用梯度跟踪
x = torch.tensor(2.0, requires_grad=True)
y = torch.tensor(3.0, requires_grad=True)

# 计算函数值
f = x**2 + y**2

# 反向传播，计算梯度
f.backward()

# 输出梯度
print("▽f=(", x.grad.item(), y.grad.item(),")")