雅克比矩阵学习笔记

前置

假设$f:R_n\to R_m$是从$n$维欧氏空间线性映射到到$m$维欧氏空间的函数，这个函数由$m$个实函数组成，记作：
$$\{\begin{array}{l}{y}_1=f_1(x1,x2,...,x_n)\\ y_2=f_2(x1,x2,...,x_n)\\ ...\\ y_m=f_n(x1,x2,...,x_n)\end{array}$$

我们对$f(Z),Z=(x_1,x_2,...,x_n)$进行一阶泰勒展开，
$$f(Z)=f(Z_0)+J_f(Z_0)(Z-Z_0)$$

其中$f(Z_0)$就是$f(Z)$在$Z_0$的导数，在这里就是$f(Z)$的雅克比矩阵。
值得注意的是，由于只展开到一阶，因此存在误差，故这里的等号并不是严格意义上的相等。

定义

$m\ast n$的雅克比矩阵：
$$\left[\begin{array}{cccc}\frac{\partial f_1}{\partial x_1}& \frac{\partial f_1}{\partial x_2}& ...& \frac{\partial f_1}{\partial x_n}\\ \frac{\partial f_2}{\partial x_1}& \frac{\partial f_2}{\partial x_2}& ...& \frac{\partial f_2}{\partial x_n}\\ ...& ...& ...& ...\\ \frac{\partial f_m}{\partial x_1}& \frac{\partial f_m}{\partial x_2}& ...& \frac{\partial f_m}{\partial x_n}\end{array}\right]$$
当然也可以写成行矩阵的形式：
$$\left[\begin{array}{cccc}\frac{\partial f}{\partial x_1}& \frac{\partial f}{\partial x_2}& ...& \frac{\partial f}{\partial x_n}\end{array}\right]$$
这也正是梯度矩阵的转置矩阵，即$J_f(Z)=\nabla f(Z{)}^T$。

雅克比行列式

当$n=m$时，雅克比矩阵就变为了：
$$\left[\begin{array}{cccc}\frac{\partial f_1}{\partial x_1}& \frac{\partial f_1}{\partial x_2}& ...& \frac{\partial f_1}{\partial x_n}\\ \frac{\partial f_2}{\partial x_1}& \frac{\partial f_2}{\partial x_2}& ...& \frac{\partial f_2}{\partial x_n}\\ ...& ...& ...& ...\\ \frac{\partial f_n}{\partial x_1}& \frac{\partial f_n}{\partial x_2}& ...& \frac{\partial f_n}{\partial x_n}\end{array}\right]$$

对上面的展开式进行移项，得：
$$f(Z)-f(Z_0)=J_f(Z_0)(Z-Z_0)$$

记$Z-Z_0=\Delta x,f(Z)-f(Z_0)=\Delta y$，于是有:
$$\Delta y=J_f(Z_0)\Delta x$$

展开，有：
$$\left[\begin{array}{c}\mathrm{d}{y}_1\\ \mathrm{d}{y}_2\\ ...\\ \mathrm{d}{y}_n\end{array}\right]=\left[\begin{array}{cccc}\frac{\partial f_1}{\partial x_1}& \frac{\partial f_1}{\partial x_2}& ...& \frac{\partial f_1}{\partial x_n}\\ \frac{\partial f_2}{\partial x_1}& \frac{\partial f_2}{\partial x_2}& ...& \frac{\partial f_2}{\partial x_n}\\ ...& ...& ...& ...\\ \frac{\partial f_n}{\partial x_1}& \frac{\partial f_n}{\partial x_2}& ...& \frac{\partial f_n}{\partial x_n}\end{array}\right]\ast \left[\begin{array}{c}\mathrm{d}{x}_1\\ \mathrm{d}{x}_2\\ ...\\ \mathrm{d}{x}_n\end{array}\right]$$
继续展开，有：
$$\left[\begin{array}{c}\mathrm{d}{y}_1\\ \mathrm{d}{y}_2\\ ...\\ \mathrm{d}{y}_n\end{array}\right]=\left[\begin{array}{c}\frac{\partial f_1}{\partial x_1}\mathrm{d}{x}_1+\frac{\partial f_1}{\partial x_2}\mathrm{d}{x}_2+...+\frac{\partial f_1}{\partial x_n}\mathrm{d}{x}_n\\ \frac{\partial f_2}{\partial x_1}\mathrm{d}{x}_1+\frac{\partial f_2}{\partial x_2}\mathrm{d}{x}_2+...+\frac{\partial f_2}{\partial x_n}\mathrm{d}{x}_n\\ ...\\ \frac{\partial f_n}{\partial x_1}\mathrm{d}{x}_1+\frac{\partial f_n}{\partial x_2}\mathrm{d}{x}_2+...+\frac{\partial f_n}{\partial x_n}\mathrm{d}{x}_n\end{array}\right]$$
正交化一下，有：
$$\left[\begin{array}{cccc}\mathrm{d}{y}_1& 0& ...& 0\\ 0& \mathrm{d}{y}_2& ...& 0\\ ...& ...& ...& ...\\ 0& 0& ...& \mathrm{d}{y}_n\end{array}\right]=\left[\begin{array}{cccc}\frac{\partial f_1}{\partial x_1}\mathrm{d}{x}_1& \frac{\partial f_1}{\partial x_2}\mathrm{d}{x}_2& ...& \frac{\partial f_1}{\partial x_n}\mathrm{d}{x}_n\\ \frac{\partial f_2}{\partial x_1}\mathrm{d}{x}_1& \frac{\partial f_2}{\partial x_2}\mathrm{d}{x}_2& ...& \frac{\partial f_2}{\partial x_n}\mathrm{d}{x}_n\\ ...& ...& ...& ...\\ \frac{\partial f_n}{\partial x_1}\mathrm{d}{x}_1& \frac{\partial f_n}{\partial x_2}\mathrm{d}{x}_2& ...& \frac{\partial f_n}{\partial x_n}\mathrm{d}{x}_n\end{array}\right]$$

取两边的行列式（特别注意的是，由于 { d x } , { d y } \{\mathrm{d}x\},\{\mathrm{d}y\} {dx},{dy}均为正数，因此行列式需取绝对值），有：
$$\mathrm{d}{y}_1\cdot \mathrm{d}{y}_2\cdot ...\cdot \mathrm{d}{y}_n=\left|\left|\begin{array}{cccc}\frac{\partial f_1}{\partial x_1}& \frac{\partial f_1}{\partial x_2}& ...& \frac{\partial f_1}{\partial x_n}\\ \frac{\partial f_2}{\partial x_1}& \frac{\partial f_2}{\partial x_2}& ...& \frac{\partial f_2}{\partial x_n}\\ ...& ...& ...& ...\\ \frac{\partial f_n}{\partial x_1}& \frac{\partial f_n}{\partial x_2}& ...& \frac{\partial f_n}{\partial x_n}\end{array}\right|\right|\cdot \mathrm{d}{x}_1\cdot \mathrm{d}{x}_2\cdot ...\cdot \mathrm{d}{x}_n$$

即：
$$\mathrm{d}{y}_1\cdot \mathrm{d}{y}_2\cdot ...\cdot \mathrm{d}{y}_n=||J_f(Z)||\cdot \mathrm{d}{x}_1\cdot \mathrm{d}{x}_2\cdot ...\cdot \mathrm{d}{x}_n$$

上式在$n=1$时，也即在一元函数中，可以理解为原线段的长度经过$||J_f(Z)||$的缩放得到新线段的长度；
上式在$n=2$时，也即在二元函数中，可以理解为原平面图形的面积经过$||J_f(Z)||$的缩放得到新平面图形的面积；
上式在$n=3$时，也即在三元函数中，可以理解为原平面图形的体积经过$||J_f(Z)||$的缩放得到新平面图形的体积；
在$n>3$时直观上不好描述其几何意义，姑且不做讨论。
换言之，雅可比矩阵的行列式可以理解为原几何图形所确定的某种几何关系经过线性变化得到新几何图形的一种缩放比例。这也正是仿射变换。

应用

通过仿射变换解决圆锥曲线中一些问题（高中数学常用）；
和黑塞矩阵一起作为各种牛顿法的基础，也是梯度下降等算法的基础（稍后会写）；
和机器人以及运动学有关（大雾~~）。