拉格朗日对偶性（Lagrangian Duality）详解
1. 引言
拉格朗日对偶性是最优化理论中的重要概念，广泛应用于数学优化、运筹学、经济学和机器学习等领域。通过引入拉格朗日函数，我们可以将原始约束优化问题转换为对偶问题，从而获得优化问题的额外信息，有时还能简化求解过程。
本文将详细介绍拉格朗日对偶性的基本概念、数学推导、弱对偶性与强对偶性的判别条件，以及其在实际问题中的应用。
2. 拉格朗日对偶性的基本概念
考虑一个标准的约束优化问题：
min x f ( x ) \min_{x} f(x) minxf(x)
s.t. g i ( x ) ≤ 0 , i = 1 , 2 , … , m \text{s.t. } g_i(x) \leq 0, \quad i = 1, 2, \dots, m s.t. gi(x)≤0,i=1,2,…,m
h j ( x ) = 0 , j = 1 , 2 , … , p h_j(x) = 0, \quad j = 1, 2, \dots, p hj(x)=0,j=1,2,…,p
其中， f ( x ) f(x) f(x) 是目标函数， g i ( x ) g_i(x) gi(x) 代表不等式约束， h j ( x ) h_j(x) hj(x) 代表等式约束。
2.1 拉格朗日函数
为将约束合并到目标函数中，我们引入拉格朗日乘子 λ i ≥ 0 \lambda_i \geq 0 λi≥0（对应不等式约束）和 ν j \nu_j νj（对应等式约束），定义拉格朗日函数：
L ( x , λ , ν ) = f ( x ) + ∑ i = 1 m λ i g i ( x ) + ∑ j = 1 p ν j h j ( x ) L(x, \lambda, \nu) = f(x) + \sum_{i=1}^{m} \lambda_i g_i(x) + \sum_{j=1}^{p} \nu_j h_j(x) L(x,λ,ν)=f(x)+∑i=1mλ