深度学习之微积分预备知识点
极限（Limit）
- 定义：表示某一点处函数趋近于某一特定值的过程，一般记为
极限是一种变化状态的描述，核心思想是无限靠近而永远不能到达
- 公式：
表示 x 趋向 a 时 f(x) 的极限。
| 知识点 | 口诀 | 解释 |
|---|---|---|
| 极限的存在 | 左右极限需相等 | 左极限等于右极限，极限才存在 |
| 极限求值 | 小数接近分母带 | 分子分母消掉无关，最后代入极限值 |
| 无限极限 | 无穷大趋向无穷多 | x 趋向无穷大时，函数会无界 |
| 常数极限 | 常数极限还是常 | 常数不随 x 变化，其极限为常数本身 |
总结：
- 极限是“左等于右”，常数不变小数带。
导数（Derivative）
- 定义：函数的局部性质，导数表示函数变化率，即在某一点的斜率。
对函数y = f(x)来说，其导数可以用符号f'(x)来表示。也可记为
- 公式：
。
| 知识点 | 口诀 | 解释 |
|---|---|---|
| 导数定义式 | 变化速率瞬间看 | 导数即函数在某点的变化率 |
| 斜率 | 斜率即导数 | 曲线的导数等于该点处切线的斜率 |
| 导数存在条件 | 连续光滑无跳变 | 函数在该点必须连续且光滑 |
总结：
- 导数看斜率，曲线随点变。
微分（Differentiation）
-
定义：微分是导数的线性近似，表示函数在小变化下的增量。
- 公式：
，表示 dx 的微小变化引起 dy 的变化。
微分近似小变大，导差线性接着算。
-
知识点 口诀 解释 微分近似 小变大差线性算 微分表示函数的增量，是导数的线性近似 一阶微分 导数导差就是微分 微分与导数等价于线性变化 总结：
-
微分近似小变大，导差线性接着算。
- 导数表示变化率，微分表示变化量
偏导数（Partial Derivative）
- 定义：偏导数表示多元函数在某一点处关于某一变量的导数，其他变量保持不变。
- 公式：符号
来表示多元函数
，关于x的偏导数 即：
| 知识点 | 口诀 | 解释 |
|---|---|---|
| 偏导数 | 看谁变化锁其他 | 偏导数只看一个变量，其他变量保持不变 |
| 偏导数几何意义 | 高维斜率看切面 | 在多维空间中，偏导数表示函数沿某轴的斜率 |
| 计算方法 | 变量固定逐个求 | 对每个变量分别求导 |
总结：
- 偏导锁定一变量，高维斜率看切面。
梯度（Gradient）
- 定义：梯度是函数在多维空间中变化最快的方向，一个包含所有偏导数的向量。符号是
- 公式： 对函数
来说，其梯度向量是
梯度下降算法中，参数更新公式为
| 知识点 | 口诀 | 解释 |
|---|---|---|
| 梯度定义 | 快速上升靠梯度 | 梯度表示函数变化最快的方向 |
| 梯度计算 | 多维偏导排成队 | 梯度是各个偏导数排列成的向量 |
| 梯度方向 | 梯度方向最快升 | 梯度方向表示函数上升最快的方向 |
总结：
- 梯度导快升，排队各偏导。
链式求导法则（Chain Rule）
- 定义：链式法则用于复合函数的求导，即导数分为外层函数和内层函数分别求导。
假设对实数x,有可微函数f 和 g,其中z = f(y) ,y = g(x)，那么，链式法则公式如下
所谓链式法则，就是一层一层增加可以互相抵消的分子分母
例子：
有函数 和
, 计算
的导数，可得
- 公式：
| 知识点 | 口诀 | 解释 |
|---|---|---|
| 链式法则 | 内外分导再相乘 | 外层函数的导数乘以内层函数的导数 |
| 链式求导应用 | 多层复合层层解 | 对于多层复合函数，逐层求导 |
总结：
- 链式分内外，逐层导相乘。
记忆口诀
- 极限：“左等于右，常数不变小数带”，极限需要左右一致，小数极限直接代入。
- 导数：“导数看斜率，曲线随点变”，导数表示函数在一点的斜率，函数形状随点变化。
- 微分：“微分近似小变大，导差线性接着算”，微分表示函数的线性近似，是导数的进一步延伸。
- 偏导数：“偏导锁定一变量，高维斜率看切面”，多变量函数中只看一个变量的变化，其余固定。
- 梯度：“梯度导快升，排队各偏导”，梯度表示函数上升最快的方向，是各偏导数的组合。
- 链式法则：“链式分内外，逐层导相乘”，链式法则用于复合函数的求导，逐层求导并相乘。