Hessian 矩阵与函数的凸性
Hessian 矩阵的定义
Hessian 矩阵是一个方形矩阵，用来描述多元函数的二阶偏导数信息。对于一个 n n n 维函数 f ( x 1 , x 2 , … , x n ) f(x_1, x_2, \dots, x_n) f(x1,x2,…,xn)，Hessian 矩阵的定义是：
H = [ ∂ 2 f ∂ x 1 2 ∂ 2 f ∂ x 1 ∂ x 2 ⋯ ∂ 2 f ∂ x 1 ∂ x n ∂ 2 f ∂ x 2 ∂ x 1 ∂ 2 f ∂ x 2 2 ⋯ ∂ 2 f ∂ x 2 ∂ x n ⋮ ⋮ ⋱ ⋮ ∂ 2 f ∂ x n ∂ x 1 ∂ 2 f ∂ x n ∂ x 2 ⋯ ∂ 2 f ∂ x n 2 ] . \mathbf{H} = \begin{bmatrix} \frac{\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1 \partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_1 \partial x_n} \\ \frac{\partial^2 f}{\partial x_2 \partial x_1} & \frac{\partial^2 f}{\partial x_2^2} & \cdots & \frac{\partial^2 f}{\partial x_2 \partial x_n} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial^2 f}{\partial x_n \partial x_1} & \frac{\partial^2 f}{\partial x_n \partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_n^2} \end{bmatrix}. H= ∂x12∂2f∂x2∂x1∂2f⋮∂xn∂x1∂2f∂x1∂x2∂2f∂x22∂2f⋮∂xn∂x2∂2f⋯⋯⋱⋯∂x1∂xn∂2f∂x2∂xn∂2f⋮∂xn2∂2f .
Hessian 矩阵是一个对称矩阵（因为二阶偏导数 ∂ 2 f ∂ x i ∂ x j = ∂ 2 f ∂ x j ∂ x i \frac{\partial^2 f}{\partial x_i \partial x_j} = \frac{\partial^2 f}{\partial x_j \partial x_i} ∂xi∂xj∂2f=∂xj∂xi∂2f）。
Hessian 矩阵的求法
-
给定函数：
假设 f ( x 1 , x 2 , … , x n ) f(x_1, x_2, \dots, x_n) f(x1,x2,…,xn) 是一个二次连续可导的函数。 -
求一阶偏导：
对每个变量 x i x_i xi 求偏导，得到一阶偏导数向量（梯度）：
∇ f = [ ∂ f ∂ x 1 ∂ f ∂ x 2 ⋮ ∂ f ∂ x n ] . \nabla f = \begin{bmatrix} \frac{\partial f}{\partial x_1} \\ \frac{\partial f}{\partial x_2} \\ \vdots \\ \frac{\partial f}{\partial x_n} \end{bmatrix}. ∇f= ∂x1∂f∂x2∂f⋮∂xn∂f . -
求二阶偏导：
对每个一阶偏导数 ∂ f ∂ x i \frac{\partial f}{\partial x_i} ∂xi∂f 再分别对每个变量 x j x_j xj 求偏导，构造二阶偏导数矩阵（即 Hessian 矩阵）。
例子：
例1：一元函数
对于 f ( x ) = x 3 − 2 x 2 + x f(x) = x^3 - 2x^2 + x f(x)=x3−2x2+x，
-
求一阶导数：
d f d x = 3 x 2 − 4 x + 1. \frac{df}{dx} = 3x^2 - 4x + 1. dxdf=3x2−4x+1. -
求二阶导数：
d 2 f d x 2 = 6 x − 4. \frac{d^2f}{dx^2} = 6x - 4. dx2d2f=6x−4.
Hessian 矩阵在一维情况下就是 H = [ 6 x − 4 ] \mathbf{H} = [6x - 4] H=[6x−4]（标量）。
例2：多元函数
对于 f ( x 1 , x 2 ) = x 1 2 + 3 x 1 x 2 + x 2 2 f(x_1, x_2) = x_1^2 + 3x_1x_2 + x_2^2 f(x1,x2)=x12+3x1x2+x22，
-
求一阶偏导：
∂ f ∂ x 1 = 2 x 1 + 3 x 2 , ∂ f ∂ x 2 = 3 x 1 + 2 x 2 . \frac{\partial f}{\partial x_1} = 2x_1 + 3x_2, \quad \frac{\partial f}{\partial x_2} = 3x_1 + 2x_2. ∂x1∂f=2x1+3x2,∂x2∂f=3x1+2x2. -
求二阶偏导，构造 Hessian 矩阵：
H = [ ∂ 2 f ∂ x 1 2 ∂ 2 f ∂ x 1 ∂ x 2 ∂ 2 f ∂ x 2 ∂ x 1 ∂ 2 f ∂ x 2 2 ] = [ 2 3 3 2 ] . \mathbf{H} = \begin{bmatrix} \frac{\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1 \partial x_2} \\ \frac{\partial^2 f}{\partial x_2 \partial x_1} & \frac{\partial^2 f}{\partial x_2^2} \end{bmatrix} = \begin{bmatrix} 2 & 3 \\ 3 & 2 \end{bmatrix}. H=[∂x12∂2f∂x2∂x1∂2f∂x1∂x2∂2f∂x22∂2f]=[2332].
Hessian 矩阵与凸性：
- 如果 Hessian 矩阵的所有特征值均非负，则函数是凸函数；
- 如果存在负特征值，则函数不是凸函数（某些方向上是凹的）。