包络定理

Template:NoteTA Template:Expand 包络定理(Envelop Theorem)是带参数的最优化问题中的一个定理。这个定理的内容是，参数的值变动时，目标函数的变动只和参数的变动有关，而与自变量（因参数变动而引起）的变动无关。包络定理在最优化领域非常有用。

具体表述

无约束的情形

设$f(𝐱,\mathit{\alpha })$是${ℝ}^{n+l}$上的可微实函数，其中$𝐱\in {ℝ}^n$是自变量，$\mathit{\alpha }\in {ℝ}^l$是参数，目标是选择适当的$𝐱$以最大化/最小化$f$。设$V(\mathit{\alpha })=f({𝐱}^{*},\mathit{\alpha })$，其中${𝐱}^{*}$为$f$取最大值/最小值时的$𝐱$，则包络定理即

$\frac{\mathrm{d}V}{\mathrm{d}\mathit{\alpha }}={\frac{\partial f}{\partial \mathit{\alpha }}|}_{𝐱={𝐱}^{*}}$。

证明

根据全微分公式有

$\mathrm{d}V={\mathrm{d}f|}_{𝐱={𝐱}^{*}}={(\sum _{i=1}^n\frac{\partial f}{\partial x_i}\mathrm{d}{x}_i+\sum _{i=1}^l\frac{\partial f}{\partial {\alpha }_i}\mathrm{d}{\alpha }_i)|}_{𝐱={𝐱}^{*}}$。

因为$𝐱$取最值时必有$f$对$x_i$的一阶偏导数为零，即

${\frac{\partial f}{\partial 𝐱}|}_{𝐱={𝐱}^{*}}=0$，

故可得到

$\mathrm{d}V={\sum _{i=1}^n\frac{\partial f}{\partial {\alpha }_i}\mathrm{d}{\alpha }_i|}_{𝐱={𝐱}^{*}}$，

也即$\frac{\mathrm{d}V}{\mathrm{d}\mathit{\alpha }}={\frac{\partial f}{\partial \mathit{\alpha }}|}_{𝐱={𝐱}^{*}}$成立。

有约束的情形

在无约束的情形下加上$m$个同样可微的实约束函数$g_j(𝐱,\mathit{\alpha })=0$，则包络定理变为

$\frac{\mathrm{d}V}{\mathrm{d}\mathit{\alpha }}={\frac{\partial ℒ}{\partial \mathit{\alpha }}|}_{𝐱={𝐱}^{*}}$，

其中$ℒ(𝐱,\mathit{\lambda },\mathit{\alpha })=f(𝐱,\mathit{\alpha })+\sum _{j=1}^m{\lambda }_j(\mathit{\alpha })g_j(𝐱,\mathit{\alpha })$是拉格朗日函数。

证明过程与无约束时类似，只是$𝐱$取最值时$\frac{\partial f}{\partial x_i}=0$变为$\frac{\partial ℒ}{\partial x_i}=0$。

参见

• 霍特林引理
• 谢泼德引理
• 罗伊恒等式