包络定理

Template:NoteTA Template:Expand 包络定理(Envelop Theorem)是带参数的最优化问题中的一个定理。这个定理的内容是，参数的值变动时，目标函数的变动只和参数的变动有关，而与自变量（因参数变动而引起）的变动无关。包络定理在最优化领域非常有用。

具体表述

无约束的情形

设$f(𝐱,𝜶)$是${ℝ}^{n+l}$上的可微实函数，其中$𝐱\in {ℝ}^n$是自变量，$𝜶\in {ℝ}^l$是参数，目标是选择适当的$𝐱$以最大化/最小化$f$。设$V(𝜶)=f({𝐱}^{\ast },𝜶)$，其中${𝐱}^{\ast }$为$f$取最大值/最小值时的$𝐱$，则包络定理即

$\frac{\mathrm{d}V}{\mathrm{d}𝜶}={\frac{\partial f}{\partial 𝜶}|}_{𝐱={𝐱}^{\ast }}$。

证明

根据全微分公式有

$\mathrm{d}V={\mathrm{d}f|}_{𝐱={𝐱}^{\ast }}={(\sum _{i=1}^n\frac{\partial f}{\partial x_i}\mathrm{d}{x}_i+\sum _{i=1}^l\frac{\partial f}{\partial {\alpha }_i}\mathrm{d}{\alpha }_i)|}_{𝐱={𝐱}^{\ast }}$。

因为$𝐱$取最值时必有$f$对$x_i$的一阶偏导数为零，即

${\frac{\partial f}{\partial 𝐱}|}_{𝐱={𝐱}^{\ast }}=0$，

故可得到

$\mathrm{d}V={\sum _{i=1}^n\frac{\partial f}{\partial {\alpha }_i}\mathrm{d}{\alpha }_i|}_{𝐱={𝐱}^{\ast }}$，

也即$\frac{\mathrm{d}V}{\mathrm{d}𝜶}={\frac{\partial f}{\partial 𝜶}|}_{𝐱={𝐱}^{\ast }}$成立。

有约束的情形

在无约束的情形下加上$m$个同样可微的实约束函数$g_j(𝐱,𝜶)=0$，则包络定理变为

$\frac{\mathrm{d}V}{\mathrm{d}𝜶}={\frac{\partial ℒ}{\partial 𝜶}|}_{𝐱={𝐱}^{\ast }}$，

其中$ℒ(𝐱,𝝀,𝜶)=f(𝐱,𝜶)+\sum _{j=1}^m{\lambda }_j(𝜶)g_j(𝐱,𝜶)$是拉格朗日函数。

证明过程与无约束时类似，只是$𝐱$取最值时$\frac{\partial f}{\partial x_i}=0$变为$\frac{\partial ℒ}{\partial x_i}=0$。

参见

• 霍特林引理
• 谢泼德引理
• 罗伊恒等式