查看“︁最优化”︁的源代码

{{NoteTA
|G1 = IT
|G2 = Math
}}
[[File:Max paraboloid.svg|right|thumb|方程<math>z=f(x,\ y)=-(x^2+y^2)+4</math>的曲面图像。[[极值|最大值]]为<math>(x,\ y,\ z)=(0,\ 0,\ 4)</math>，由蓝点标记。]]
[[File:Nelder-Mead Simionescu.gif|thumb|[[优化测试函数|西米奥内斯库函数]]的Nelder-Mead极小值搜索。单纯形顶点按值排序，1有最小的（<math>f(x)</math>最佳）值。|alt=]]

'''最优化'''指从一组可选择的方案中，根据一定标准选择最佳方案的过程，往往要在特定情况下最大化或最小化某一特定[[函数]]或变量。<ref>"[http://glossary.computing.society.informs.org/index.php?page=nature.html The Nature of Mathematical Programming] {{webarchive|url=https://web.archive.org/web/20140305080324/http://glossary.computing.society.informs.org/index.php?page=nature.html |date=2014-03-05 }}," ''Mathematical Programming Glossary'', INFORMS Computing Society.</ref>一般分为[[离散优化]]、[[连续优化]]两个子领域。优化问题出现在[[计算机科学]]、[[工程学]]<ref name="edo2021">{{Cite book|url=https://www.researchgate.net/publication/352413464|title=Engineering Design Optimization|last1=Martins|first1=Joaquim R. R. A.|last2=Ning|first2=Andrew|date=2021-10-01|publisher=Cambridge University Press|isbn=978-1108833417|language=en}}</ref>到[[运筹学]]、[[经济学]]等所有定量学科中，几百年来求解方法的发展一直受到[[数学]]界的关注。<ref>{{cite book |last1=Du |first1=D. Z. |last2=Pardalos |first2=P. M. |last3=Wu |first3=W. |year=2008 |chapter=History of Optimization |editor-link=Christodoulos Floudas |editor-last=Floudas |editor-first=C. |editor2-last=Pardalos |editor2-first=P. |title=Encyclopedia of Optimization |publisher=Springer |location=Boston |pages=1538–1542 }}</ref>
在更一般的方法中，[[优化问题]]往往要系统地选择输入值、计算函数值以[[极值|最大化或最小化]]某[[实函数]]。将优化理论与技术推广到其他的表述，构成了[[应用数学]]的一个分支。更一般地说，优化包括在给定[[定义域]]（或输入）的情形下，找到某目标函数的“最佳可达值”。
== 优化问题 ==
{{main|优化问题}}

优化问题可分为两类，取决于[[变量]]是[[连续变量|连续]]还是[[离散变量|离散]]：
* 离散变量的优化问题称作[[离散优化]]，当中的[[整数]]、[[排列]]或[[图 (数学)|图]]之类[[数学对象|对象]]必须属于[[可数集]]。
* 连续变量的优化问题称作[[连续优化]]，当中最优自变量要属于连续集。这类问题可以包括[[约束优化]]与[[双峰分布|多峰问题]]。

优化问题可用以下方式表示：<ref name="赫孝良，葛照强 ">{{cite book|author=赫孝良，葛照强|title=最优化与最优控制（第2版）}}</ref>
:''已知：'' [[函数]]<math>f:\ A\to \mathbb R</math>从某[[集合]]''A''映射到[[实数]]
:''求：'' 元素<math>x_0\in A</math>，使<math>\forall x\in A,\ f_{x_0}\le f(x)</math>（“最小化”），或使<math>x\in A,\ f_{x_0}\ge f(x)</math>（“最大化”）。

这样表述后，称作'''[[优化问题]]'''或'''数学规划问题'''。很多现实问题与理论问题都可用这个一般框架建模。

由于下式成立：
:<math>f(\mathbf{x}_{0})\geq f(\mathbf{x}) \Leftrightarrow -f(\mathbf{x}_{0})\leq -f(\mathbf{x}),</math> 
只需解最小化问题。只考虑最大化问题的相反观点是同理的。

[[物理学]]领域，使用这种技术提出的问题可称“[[能量]]最小化”，将函数''f''值视为所[[数学模型|建模]][[系统]]的能量。[[机器学习]]中，总要用[[损失函数]]持续评估模型的质量，损失函数取得极小值意味着一组可能的最优参数，同时具有最优（最小）的误差。

''A''通常是[[欧氏空间]]<math>\mathbb R^n</math>的[[子集]]，一般要求''A''的成员需满足一组[[约束 (数学)|约束]]（等式或不等式）。''f''的[[定义域]]''A''称作'''搜索空间'''或'''选择集'''，''A''的元素称作'''[[可行域#候选解|候选解]]'''或'''可行解'''。

函数''f''有多种叫法，常见的有'''目标函数'''、'''判别函数'''、'''[[损失函数]]'''、'''成本函数'''（最小化）<ref>W. Erwin Diewert (2008). "cost functions," ''The New Palgrave Dictionary of Economics'', 2nd Edition [http://www.dictionaryofeconomics.com/article?id=pde2008_C000390&edition=current&q= Contents] {{Wayback|url=http://www.dictionaryofeconomics.com/article?id=pde2008_C000390&edition=current&q= |date=20171101185738 }}.</ref>、'''效率函数'''、'''适应度函数'''（最大化），某些领域还有'''能量函数'''、'''能量[[泛函]]'''等等。使得目标函数取最值（取决于问题）的可行解就是'''最优解'''。

数学中，传统优化问题通常用最小化形式表示。

'''极值'''<math>\mathbf{x}^{\ast}</math>是局部的，定义为<math>\exists \delta>0</math>，满足一定条件。例如，极小值要满足

:<math>\forall\mathbf{x}\in A \; \text{where} \;\left\Vert\mathbf{x}-\mathbf{x}^{\ast}\right\Vert\leq\delta,\, f(\mathbf{x}^{\ast})\le f(\mathbf{x})</math>

这就是说，在<math>\mathbf{x}^*</math>周围的一些[[闭球]]上，所有的[[函数值]]都大于或者等于在该点的函数值。

极小值至少于附近的任何元素一样好，最小值则至少与每个可行解一样好。一般来说，除非目标函数是[[凸函数]]，否则会存在多个极小值。[[凸优化]]问题中，若有位于可行集内（不位于边缘）的极小值，则它也是最小值；而非凸优化问题可能有多个极小值。

非凸问题所用的大量算法（包括大多数商业求解器）都无法区分局部最优解与全局最优解，而是将前者视作原问题的实际解。[[全局优化]]是[[应用数学]]与[[数值分析]]的一个分支，主要研究能在有限时间内收敛到非凸问题实际最优解的确定性算法。

== 符号 ==
优化问题常用特殊符号表示，如下：

=== 函数最值 ===
:<math>\min_{x\in\mathbb R}\; \left(x^2 + 1\right)</math>

这是求，从[[实数]]集<math>\mathbb{R}</math>中选择''x''时，目标函数<math>x^2+1</math>的最小[[值]]。此问最小值为1，出现在<math>x=0</math>处。

相似地，

:<math>\max_{x\in\mathbb R}\; 2x</math>

是求目标函数<math>2x</math>的最大值，其中''x''是任意实数。由于目标函数无界，所以不存在最大值，答案是“[[无穷大]]”或“[[未定义 (数学)|未定义]]”。

=== 最佳输入 ===
{{Main|极值点}}
:<math>\underset{x\in(-\infty,-1]}{\operatorname{arg\,min}} \; x^2 + 1,</math>
或等价的
:<math>\underset{x}{\operatorname{arg\,min}} \; x^2 + 1, \; \text{subject to:} \; x\in(-\infty,-1].</math>

这是求[[函数参数|参数]]''x''在[[区间]]<math>(-\infty,\ -1]</math>时，能使目标函数<math>x^2+1</math>取最值的值。此问题的答案是<math>x=-1</math>，因为<math>x=0</math>不可行，不属于[[可行集]]。

相似地，
:<math>\underset{x\in[-5,5], \; y\in\mathbb R}{\operatorname{arg\,max}} \; x\cos y,</math>
或等价的
:<math>\underset{x, \; y}{\operatorname{arg\,max}} \; x\cos y, \; \text{subject to:} \; x\in[-5,5], \; y\in\mathbb R,</math>

表示使目标函数<math>x\cos y</math>取最大值的<math>\{x,\ y\}</math>对，且''x''要满足约束：位于区间<math>[-5,\ 5]</math>内。此问题的答案是<math>\{5,\ 2k\pi\}</math>与<math>\{-5,\ (2k+1)\pi\}</math>，其中''k''的范围是所有[[整数]]。

算符<math>\operatorname{arg\,min},\ \operatorname{arg\,max}</math>有时也作<math>\text{argmin},\ \text{argmax}</math>，分别代表最小值点与最大值点。

== 历史 ==
[[皮埃尔·德·费马]]与[[约瑟夫·拉格朗日]]发现了基于微积分的公式以确定最优值，[[艾萨克·牛顿]]与[[卡尔·弗里德里希·高斯]]提出迭代法以逼近最优值。

用于部分优化情形的“[[线性规划]]”（linear programming）是[[乔治·伯纳德·丹齐格]]提出的，不过其中大部分理论是[[列昂尼德·坎托罗维奇]]于1939年提出的。丹齐格在1947年提出[[单纯形法]]，[[冯·诺依曼]]等人也在同时期致力于线性规划的理论研究（如[[线性规划#对偶|对偶]]）。<ref>{{Cite journal |last=Bixby |first=Robert E |date=2012 |title=A brief history of linear and mixed-integer programming computation |url=https://www.math.uni-bielefeld.de/documenta/vol-ismp/25_bixby-robert.pdf |journal=Documenta Mathematica |volume=2012 |pages=107-121 |access-date=2024-02-03 |archive-date=2024-03-05 |archive-url=https://web.archive.org/web/20240305093137/https://www.math.uni-bielefeld.de/documenta/vol-ismp/25_bixby-robert.pdf |dead-url=no }}</ref>

其他著名的最优化研究者有：
{{Div col|colwidth=20em}}
* [[理查德·贝尔曼]]
* [[德梅萃·博赛卡斯]]
* Michel Bierlaire
* Stephen P. Boyd
* Roger Fletcher
* Martin Grötschel
* Ronald A. Howard
* [[弗瑞兹·约翰]]
* Narendra Karmarkar
* [[威廉·卡鲁什]]
* Leonid Khachiyan
* Bernard Koopman
* [[哈罗德·W·库恩]]
* [[洛瓦兹·拉兹洛]]
* [[大卫·伦伯杰]]
* [[阿尔卡迪·内米罗夫斯基]]
* [[尤里·涅斯捷罗夫]]
* [[列夫·庞特里亚金]]
* R. Tyrrell Rockafellar
* Naum Z. Shor
* [[阿尔伯特·W·塔克]]
{{div col end}}
== 主要分支 ==
* [[线性规划]]：当目标函数''f''是线性函数而且集合A是由线性等式函数和线性不等式函数来确定的， 我们称这一类问题为线性规划
* [[整数规划]]：当线性规划问题的部分或所有的变量局限于[[整数]]值时， 我们称这一类问题為整数规划问题
* [[二次规划]]：目标函数是二次函数，而且集合A必须是由线性等式函数和线性不等式函数来确定的。
* [[分数规划]]：研究的是如何优化两个非线性函数的比例。
* [[非线性规划]]：研究的是目标函数或是限制函数中含有非线性函数的问题。
* [[随机规划]]：研究的是某些变量是[[随机变量]]的问题。
* [[动态规划]]：研究的是最优策略基于将问题分解成若干个较小的子问题的优化问题。
* [[组合最优化]]：研究的是可行解是离散或是可转化为[[离散]]的问题。
* [[无限维最优化]]：研究的是可行解的集合是无限维空间的子集的问题，一个无限维空间的例子是函数空间。
* [[凸优化]]研究目标函数为[[凸函数]]（最小化）或[[凹函数]]（最大化），且约束集为[[凸集]]的问题。这可以看成非线性规划的特例，或凸二次规划的推广。
** [[线性规划]]（LP），是凸规划的一种，研究目标函数''f''为线性函数、约束只包含线性等式与不等式的问题。若这种约束集是[[有界集合]]，又称作[[多面体]]或[[多胞形]]。
** [[二阶锥规划]]（SOCP）是凸规划的一种，包括某些类型的二次规划。
** [[半正定规划]]（SDP）是凸规划的一个子领域，其中底变量是半正定[[矩阵]]，它是线性规划与凸二次规划的推广。
** [[锥规划]]是凸规划的一般形式。LP、SOCP、SDP都是其特例。
** [[几何规划]]是一种表示不等式约束的[[正项式]]、表示等式约束的[[单项式]]化为凸规划的技术。
* [[整数规划]]研究部分或所有变量取[[整数]]值的线性规划，不属于凸规划，往往比常规线性规划困难很多。
* [[二次规划]]允许目标函数包含二次项，而可行集须用线性等式与不等式指定。若有特殊形式的二次项，则属于凸规划。
* [[分式规划]]研究两非线性函数之比的优化。一类凹分式规划可转为凸优化问题。
* [[非线性规划]]研究目标函数和/或约束包含非线性部分的一般情形。可能属于凸规划也可能不属于，规划是否为凸一般会影响求解难度。
* [[随机规划]]研究某些约束或参数取决于[[随机变量]]的问题。
* [[稳健优化]]类似于随机规划，试图捕捉优化问题基础数据中的随机性。稳健优化试图找到在不定集定义的不确定性的所有可能下，都有效的解。
* [[组合优化]]关注可行解集离散，或可简化为[[离散数学|离散]]情形的问题。
* [[随机优化]]用于搜索过程中的随机（噪声）函数测量或随机输入。
* [[无穷维优化]]研究可行解集为无穷维空间（如函数空间）子集的情形。
* [[启发式算法|启发式]]与[[元启发算法]]对待优化问题（几乎）不做假设。启发式算法一般不能保证找到最优解，而可用于找到很多复杂优化问题的近似解。
* [[约束满足]]研究目标函数''f''为常数的情形（常见于[[人工智能]]领域，特别是[[自动推理]]）。
** [[约束编程]]是一种编程范式，变量间关系表为约束。
* 分离规划（disjunctive programming）研究必须满足至少一个约束，而非所有约束的问题。分离规划尤其适用于调度。
* [[空间映射]]是工程系统建模与优化的概念，利用具有物理意义的[[代理模型]]，达到保持模型精度，而减小计算量的效果。

在一些子领域中，这些技术用于动态环境（随时间变化的决策）中的优化：
* [[变分法]]是指找到实现某目标的最佳方法，如找到边界为特定曲线，而面积尽可能小的曲面。
* [[最优控制]]是变分法的推广，引入了控制策略。
* [[动态规划]]是解[[随机优化]]问题的一种方法，具有随机、未知的模型参数，其优化策略基于将问题分割为子问题。描述子问题间关系的方程叫做[[贝尔曼方程]]。
* [[均衡约束数学规划]]问题的约束包含[[变分不等式]]或[[互补理论|互补式]]。

=== 多目标优化 ===
{{Main|多目标优化}}
在优化问题中加入多个目标，会增加问题复杂性。例如，优化结构设计时人们希望设计轻而坚固。两目标发生冲突时，就要做出权衡：可能有一种最轻的设计、一种最坚固的设计与无数种重量与强度相折中的设计。牺牲一项标准，改进另一项标准的折衷设计集合称作[[帕累托效率|帕累托集]]，据最佳设计的重量与强度绘制的曲线叫帕累托前沿（Pareto frontier）。

若设计不被其他设计支配，就是“帕累托最优”的（等同于“帕累托有效”，或在帕累托集合中）：被支配设计在某些方面比别的设计差，而在任何方面都不比别的设计好。

帕累托最优给出了理想目标，而没有对目标的组合进行相对评定。在帕累托最优方案中进行选择的任务属于决策者。

多目标优化问题可进一步推广为[[向量优化]]，其中（部分）排序不再由帕累托排序给出。

=== 多峰、全局优化 ===
优化问题通常是多峰的，即拥有多个好的解决方案，它们可能都是全局最优解（成本函数值相同）。获得所有（或至少一部分）解是多峰优化的目标。

经典优化技术采用的迭代法面对多峰问题的表现并不令人满意，因为即使运行起点不同，也不能保证获得不同的解。

对可能存在多个极值的[[全局优化]]问题，常用算法有[[进化算法]]、[[贝叶斯优化]]与[[模拟退火]]等。

== 临界点与极值的分类 ==
=== 可行性问题 ===

[[可满足性]]问题又称可行性问题，是指在不考虑目标值的情况下找到任何[[可行解]]的问题。可以视为数学优化的一种特例，即每个解的目标值都相同，于是每个解都是最优解。

很多优化算法都要从可行点出发。获得可行点的一种方法是用[[松弛变量]]放松可行性条件，只要有足够的松弛变量，任何起点都是可行的。然后，最小化该松弛变量，直到松弛不为正。

=== 存在性 ===
[[卡尔·魏尔施特拉斯]]的[[极值定理]]指出，紧集上的连续实值函数会达到其最值。更一般地，紧集上的下半连续函数会达到其最小值，紧集上的上半连续函数会达到其最大值。

=== 最优性的必要条件 ===
[[费马引理]]指出，无约束问题的最优点是[[驻点]]，即目标函数的一阶导或梯度为零（见[[导数判别法]]）。更一般地，最优点可能出现在[[临界点 (数学)|临界点]]，即目标函数的一阶导或梯度为零或未定义，或在选择集的边界上。一阶条件（组）是指令内部最优点处的一阶导等于零的方程（组）。

等式约束问题的最优点可用[[拉格朗日乘数法]]找到。带等式和/或不等式约束的问题的最优值可由[[卡鲁什-库恩-塔克条件]]求得。

=== 最优性的充分条件 ===
一阶导检验可以识别可能是极值的点，但不能区分极小值与极大值。无约束问题的目标函数二阶可微时，可通过检验二阶导（矩阵，叫做[[黑塞矩阵]]）来区分；有约束问题中，可检验目标函数与约束条件的二阶导矩阵（称作有界黑塞矩阵）。区分极大极小值与其他驻点的条件叫做二阶条件（见[[导数判别法]]）。若候选解满足一阶条件，则满足二阶条件便足以确定至少是局部最优。

=== 最优解的敏感性与连续性 ===
[[包络定理]]描述了基本[[参数 (数学)|参数]]变化时，最优解的值如何变化。计算这种变化的过程称为[[比较静力学]]。

Claude Berge（1963）提出的[[极大值定理]]描述了最优解作为基本参数之函数的连续性。

===最优解的计算===
{{Main|卡鲁什-库恩-塔克条件}}
{{See also|临界点 (数学)|微分学|梯度|黑塞矩阵|正定矩阵|利普希茨连续|拉德马赫定理|凸函数|凸分析}}

对目标函数二阶可微的无约束问题，可通过寻找[[梯度]]为零的点（驻点）确定一些[[临界点 (数学)|临界点]]。更一般地，对[[凸优化|凸函数]]及其他[[拉德马赫定理|局部]][[利普希茨连续|利普希茨函数]]的最小化问题，零[[次导数#次梯度|次梯度]]意味着已找到极小值。

此外，临界点还可根据[[黑塞矩阵]]的[[正定矩阵|正定性]]分类：若临界点处的黑塞矩阵是正定的，则是极小值；若是负定的，则是极大值；若是不定的，则是某种[[鞍点]]。

在[[拉格朗日乘数]]的帮助下，有约束问题往往可以转为无约束问题。[[拉格朗日松弛法]]也能为困难的约束问题提供近似解。

目标函数是[[凸函数]]时，极小值也就是最小值。对凸函数的最小化，存在高效的数值技术，如[[内点法]]。

===全局收敛===
更一般地，若目标函数不是二次函数，那么很多优化方法都会用其他方法确保某些迭代子列收敛到最优解。第一种仍很流行的是[[线搜索]]，这种方法沿一个维度对函数进行优化。第二种越来越流行的，是[[置信域方法]]。线搜索与置信域方法都被用于现代[[次梯度法|不可微优化]]中。通常，全局优化器比先进的局部优化器（如[[BFGS算法]]）慢得多，因此通常可从不同起点启动局部优化器，构建高效的全局优化器。

== 计算优化技术 ==
求解时往往使用有限步内终止的[[算法]]，或（在某些类的问题上）收敛到解的[[迭代法]]，或尽可能为某些问题提供近似解的[[启发式算法]]（迭代不一定收敛）。

===优化算法===
{{main list|优化算法列表}}
* [[乔治·伯纳德·丹齐格]]为[[线性规划]]提出的[[单纯形法]]
* 单纯形法的推广，为[[二次规划]]与[[线性分式规划]]设计
* 特别适用于[[网络流|网络优化]]的单纯形法变体
* [[组合优化|组合算法]]
* [[量子优化算法]]

===迭代法===
{{Main|迭代法}}

[[迭代法]]用于解[[非线性规划]]，依其求值的是[[黑塞矩阵]]、梯度或函数值而有所不同。求黑塞矩阵（H）和梯度（G）可以提高收敛速度，但对变化足够平滑的函数，这会增加每次迭代的[[计算复杂度]]（计算成本），有时可能会过高。

优化器的一个重要指标就是所需的函数求值次数，因为这往往需要大量计算，通常比优化本身的计算量大得多，因为优化器要对N个变量进行操作。导数为此类优化器提供了详细信息，但算起来更困难。例如，近似梯度至少要求N+1次函数值。二阶导的近似（黑塞矩阵需要）每次迭代要求N²次函数值，例如牛顿法，而更简单的纯梯度优化器则只需要N次。优化器的选择取决于具体问题。
* 需要黑塞矩阵的方法（或用[[差分]]计算近似值）：
** [[应用于最优化的牛顿法|牛顿法]]
** [[序列二次规划]]：基于牛顿法，适于中小尺度约束问题。某些版本可处理高维问题。
** [[内点法]]：这是一大类用于约束优化的方法，其中有些只使用（次）梯度信息，另一些则需要黑塞矩阵。
* 需要梯度的方法（或近似值，或次梯度）：
** [[坐标下降法]]：每次迭代更新一次坐标。
** [[共轭梯度法]]：针对大型问题的[[迭代法]]（理论上在二次目标函数的有限步数内终止，但在有限精度计算机上不常能达到）。
** [[梯度下降法]]（或“最陡下降法”“最陡上升法”）：具有历史与理论意义的（较慢）方法，在寻找巨大问题的近似解时再次受到关注。
** [[次梯度法]]：使用[[次梯度|广义梯度]]迭代大型[[拉德马赫定理|局部]][[利普希茨连续|利普希茨函数]]的方法。根据Boris T. Polyak的观点，次梯度投影法类似于共轭梯度法。
** 捆绑下降法（Bundle method of descent）：适用于局部利普希茨函数的中小型问题，尤其适用于凸最小化问题（类似于共轭梯度法）。
** [[椭球法]]：适用于目标函数为[[拟凸函数]]的小型问题的迭代法，在理论上有重要意义，特别是在确定某些组合优化问题的多项式时间复杂度方面。与拟牛顿法有相似之处。
** [[弗兰克–沃尔夫法]]（条件梯度法）：用于具有线性约束的特殊结构问题，特别是交通网络问题。对于一般的无约束问题简化为梯度法，而梯度法（对几乎所有问题）已经过时。
** [[拟牛顿法]]：适于大中型（N<1000）问题的迭代法。
** [[同时扰动随机逼近]]（SPSA），用于随机优化，运用随机（高效）梯度逼近。
* 只需要函数值的方法：若问题是连续可微的，那么可用有限差分法逼近梯度，这时可用基于梯度的方法。
** [[插值]]法
** [[模式搜索]]，收敛特性优于[[Nelder–Mead法]]（启发式算法，带单纯形），下详。
** [[镜像下降]]

===启发式===
{{Main|启发式算法}}

除了（有限终止）[[算法]]与（收敛）[[迭代法]]，还有[[启发式算法]]，是指任何不能保证（数学上）找到解，但某些实际情况中有用的算法。一些著名的启发式算法：

{{div col}}
* [[差分进化算法]]
* [[动态松弛法]]
* [[进化算法]]
* [[遗传算法]]
* 随机重启的[[爬山算法]]
* [[模因算法]]
* [[Nelder–Mead法]]：近似最小化的流行启发式算法（不需计算梯度）
* [[粒子群优化]]
* [[模拟退火]]
* [[随机隧道]]
* [[禁忌搜索]]{{colend}}

== 应用 ==
===力学===
[[刚体力学]]问题（尤其铰接刚体力学）常常需要数学规划技巧，因为可以将刚体力学视为解约束流形上的[[常微分方程]]，<ref>{{cite journal |first=A.F. |last=Vereshchagin |title=Modelling and control of motion of manipulation robots |journal=Soviet Journal of Computer and Systems Sciences |volume=27 |issue=5 |pages=29–38 |year=1989}}</ref>约束是各种非线性几何约束，如“这两点必须重合”“此曲面不得穿过其他曲面”“此点须始终位于此曲线上的某处”之类。此外，1计算接触力的问题也可由[[线性互补问题]]解决，也可看作是二次规划问题。

很多设计问题可表述为优化规划。这种应用叫做设计优化，其中一类是[[工程优化]]，最近不断发展的另一类是[[多学科设计优化]]，在很多领域都很有用，尤其适用于[[航空航天工程]]问题。

这种方法可用于[[宇宙学]]与[[天体物理学]]。<ref>{{cite journal |first1=S. |last1=Haggag|first2=F. |last2=Desokey|first3=M. |last3=Ramadan   |title=A cosmological inflationary model using optimal control |journal= Gravitation and Cosmology|volume=23 |issue=3 |pages=236–239 |year=2017 |issn=1995-0721 | doi=10.1134/S0202289317030069 |bibcode=2017GrCo...23..236H|s2cid=125980981}}</ref>

===经济学与金融学===
[[经济学]]与行为[[主体 (经济学)|主体]]的优化密切相关，有人将经济学作为一门科学，描述为“将人类行为视作目的与[[稀缺性]]之关系的研究”，还有其他用途。<ref>[[Lionel Robbins]] (1935, 2nd ed.) ''[[An Essay on the Nature and Significance of Economic Science#Major propositions|An Essay on the Nature and Significance of Economic Science]]'', Macmillan, p. 16.</ref>现代优化理论包括传统优化理论，也与[[博弈论]]、[[经济均衡]]研究有重叠。《[[经济文献杂志]]》的[[JEL分类系统]]将数学规划、优化技术与相关主题归入JEL:C61-C63。

[[微观经济学]]中，[[效用最大化]]及其[[对偶性 (最佳化)|对偶问题]][[支出最小化]]，都是经济优化问题。在行为一致的情形下，[[消费者]]被假定为[[效用]]最大化，[[公司]]被假定为[[利润]]最大化。此外，主体常被建模为[[风险厌恶]]者。[[资产定价]]也用最优化理论建模，不过其基础数学依赖于[[随机过程]]的优化，而非静态最优化。[[国际贸易理论]]也用最优化解释国家间的贸易模式。[[投资组合]]优化是经济学中多目标优化的一个例子。

1970年代以来，经济学家利用[[控制论]]建立了随时间变化的动态决策模型。<ref>{{cite journal |first=Robert |last=Dorfman |author-link=Robert Dorfman |title=An Economic Interpretation of Optimal Control Theory |url=https://archive.org/details/sim_american-economic-review_1969-12_59_5/page/817 |journal=[[American Economic Review]] |volume=59 |issue=5 |year=1969 |pages=817–831 |jstor=1810679 }}</ref>例如，动态[[搜索理论|搜索模型]]用于研究[[劳动经济学|劳动力市场行为]]。<ref>{{cite book |first=Thomas J. |last=Sargent |author-link=Thomas J. Sargent |chapter=Search |title=Dynamic Macroeconomic Theory |publisher=Harvard University Press |year=1987 |pages=57–91 |isbn= 9780674043084|chapter-url=https://books.google.com/books?id=nVuyXF8ibeIC&pg=PA57 }}</ref>确定性模型与随机模型之间的区别至关重要。<ref>A.G. Malliaris (2008). "stochastic optimal control," ''The New Palgrave Dictionary of Economics'', 2nd Edition. [http://www.dictionaryofeconomics.com/article?id=pde2008_S000269&edition=&field=keyword&q=Taylor's%20th&topicid=&result_number=1 Abstract] {{Webarchive|url=https://web.archive.org/web/20171018182459/http://www.dictionaryofeconomics.com/article?id=pde2008_S000269&edition=&field=keyword&q=Taylor's%20th&topicid=&result_number=1 |date=2017-10-18 }}.</ref>[[宏观经济学]]的[[动态随机一般均衡]]（DSGE）模型描述整个经济的动态，是工人、消费者、投资者与政府相互依赖的优化决策结果。<ref>{{cite journal |first1=Julio |last1=Rotemberg |author-link=Julio Rotemberg |author-link2=Michael Woodford (economist) |first2=Michael |last2=Woodford |year=1997 |title=An Optimization-based Econometric Framework for the Evaluation of Monetary Policy |journal=NBER Macroeconomics Annual |volume=12 |pages=297–346 |doi=10.2307/3585236 |jstor=3585236 |url=http://www.nber.org/chapters/c11041.pdf |doi-access=free |access-date=2024-02-03 |archive-date=2020-09-26 |archive-url=https://web.archive.org/web/20200926224154/https://www.nber.org/chapters/c11041.pdf |dead-url=no }}</ref><ref>From ''[[The New Palgrave Dictionary of Economics]]'' (2008), 2nd Edition with Abstract links:<br />• "[http://www.dictionaryofeconomics.com/article?id=pde2008_N000148&edition=current&q=optimization&topicid=&result_number=1 numerical optimization methods in economics] {{Wayback|url=http://www.dictionaryofeconomics.com/article?id=pde2008_N000148&edition=current&q=optimization&topicid=&result_number=1 |date=20170811183849 }}" by Karl Schmedders<br />• "[http://www.dictionaryofeconomics.com/article?id=pde2008_C000348&edition=current&q=optimization&topicid=&result_number=4 convex programming] {{Wayback|url=http://www.dictionaryofeconomics.com/article?id=pde2008_C000348&edition=current&q=optimization&topicid=&result_number=4 |date=20171018182532 }}" by [[Lawrence E. Blume]]<br />• "[http://www.dictionaryofeconomics.com/article?id=pde2008_A000133&edition=current&q=optimization&topicid=&result_number=20 Arrow–Debreu model of general equilibrium] {{Wayback|url=http://www.dictionaryofeconomics.com/article?id=pde2008_A000133&edition=current&q=optimization&topicid=&result_number=20 |date=20170811183914 }}" by [[John Geanakoplos]].</ref>

===电气工程===
优化技术在[[电气工程]]的一些常见应用如[[有源滤波器]]设计、<ref>{{Cite journal|last1=De|first1=Bishnu Prasad|last2=Kar|first2=R.|last3=Mandal|first3=D.|last4=Ghoshal|first4=S.P.|date=2014-09-27|title=Optimal selection of components value for analog active filter design using simplex particle swarm optimization|journal=International Journal of Machine Learning and Cybernetics|volume=6|issue=4|pages=621–636|doi=10.1007/s13042-014-0299-0|s2cid=13071135|issn=1868-8071}}</ref>减少超导储磁系统中的杂散磁场、[[微波]]结构的[[空间映射]]设计、<ref>{{cite journal |last1=Koziel |first1=Slawomir |last2=Bandler |first2=John W. |title=Space Mapping With Multiple Coarse Models for Optimization of Microwave Components |journal=IEEE Microwave and Wireless Components Letters |date=January 2008 |volume=18 |issue=1 |pages=1–3 |doi=10.1109/LMWC.2007.911969|citeseerx=10.1.1.147.5407 |s2cid=11086218 }}</ref>手机天线、<ref>{{cite journal |last1=Tu |first1=Sheng |last2=Cheng |first2=Qingsha S. |last3=Zhang |first3=Yifan |last4=Bandler |first4=John W. |last5=Nikolova |first5=Natalia K. |title=Space Mapping Optimization of Handset Antennas Exploiting Thin-Wire Models |journal=IEEE Transactions on Antennas and Propagation |date=July 2013 |volume=61 |issue=7 |pages=3797–3807 |doi=10.1109/TAP.2013.2254695|bibcode=2013ITAP...61.3797T |doi-access=free }}</ref><ref>N. Friedrich, [http://mwrf.com/software/space-mapping-outpaces-em-optimization-handset-antenna-design “Space mapping outpaces EM optimization in handset-antenna design,”] {{Wayback|url=http://mwrf.com/software/space-mapping-outpaces-em-optimization-handset-antenna-design |date=20130927163900 }} microwaves&rf, 2013-08-30.</ref><ref>{{cite journal |last1=Cervantes-González |first1=Juan C. |last2=Rayas-Sánchez |first2=José E. |last3=López |first3=Carlos A. |last4=Camacho-Pérez |first4=José R. |last5=Brito-Brito |first5=Zabdiel |last6=Chávez-Hurtado |first6=José L. |title=Space mapping optimization of handset antennas considering EM effects of mobile phone components and human body |journal=International Journal of RF and Microwave Computer-Aided Engineering |date=2016-02 |volume=26 |issue=2 |pages=121–128 |doi=10.1002/mmce.20945|s2cid=110195165 |doi-access=free }}</ref>基于电磁学的设计等等。自1993年提出[[空间映射]]以来，微波元件与天线的电磁验证设计优化已广泛使用了适当的物理/经验[[代理模型]]及空间映射方法。<ref>{{cite journal |last1=Bandler |first1=J.W. |last2=Biernacki |first2=R.M. |last3=Chen |first3=Shao Hua |last4=Grobelny |first4=P.A. |last5=Hemmers |first5=R.H. |title=Space mapping technique for electromagnetic optimization |journal=IEEE Transactions on Microwave Theory and Techniques |date=1994 |volume=42 |issue=12 |pages=2536–2544 |doi=10.1109/22.339794|bibcode=1994ITMTT..42.2536B }}</ref><ref>{{cite journal |last1=Bandler |first1=J.W. |last2=Biernacki |first2=R.M. |author3=Shao Hua Chen |last4=Hemmers |first4=R.H. |last5=Madsen |first5=K. |title=Electromagnetic optimization exploiting aggressive space mapping |journal=IEEE Transactions on Microwave Theory and Techniques |date=1995 |volume=43 |issue=12 |pages=2874–2882 |doi=10.1109/22.475649|bibcode=1995ITMTT..43.2874B }}</ref>优化技术也用于[[电力潮流|功率流分析]]。<ref>{{cite conference|title=Convex relaxation of optimal power flow: A tutorial|conference=2013 iREP Symposium on Bulk Power System Dynamics and Control|url=https://ieeexplore.ieee.org/document/6629391|doi=10.1109/IREP.2013.6629391|access-date=2024-02-03|archive-date=2024-06-12|archive-url=https://web.archive.org/web/20240612171507/https://ieeexplore.ieee.org/document/6629391/|dead-url=no}}</ref>

===土木工程===
优化已广泛用于土木工程。[[营建管理]]与[[交通工程]]是土木工程中非常依赖优化的主要分支。通过优化解决的最常见的土木工程问题有道路的切割与填筑、基础设施生命周期分析、<ref>{{cite journal |last1=Piryonesi |first1=Sayed Madeh |last2=Tavakolan |first2=Mehdi |title=A mathematical programming model for solving cost-safety optimization (CSO) problems in the maintenance of structures |journal=KSCE Journal of Civil Engineering |date=2017-01-09 |volume=21 |issue=6 |pages=2226–2234 |doi=10.1007/s12205-017-0531-z|s2cid=113616284 }}</ref>[[资源均衡]]、<ref>{{cite journal |last1=Hegazy |first1=Tarek |title=Optimization of Resource Allocation and Leveling Using Genetic Algorithms |journal=Journal of Construction Engineering and Management |date=1999-06 |volume=125 |issue=3 |pages=167–175 |doi=10.1061/(ASCE)0733-9364(1999)125:3(167) |doi-access=}}</ref><ref name=":0">{{Cite journal|title=Piryonesi, S. M., Nasseri, M., & Ramezani, A. (2018). Resource leveling in construction projects with activity splitting and resource constraints: a simulated annealing optimization. |journal=Canadian Journal of Civil Engineering |date=2018-07-09 |volume=46 |pages=81–86|doi=10.1139/cjce-2017-0670|hdl=1807/93364|hdl-access=free|last1=Piryonesi |first1=S. Madeh |last2=Nasseri |first2=Mehran |last3=Ramezani |first3=Abdollah |s2cid=116480238 }}</ref>[[水文优化|水资源分配]]、[[交通]]管理<ref>{{Cite journal|last1=Herty|first1=M.|last2=Klar|first2=A.|date=2003-01-01|title=Modeling, Simulation, and Optimization of Traffic Flow Networks|url=https://epubs.siam.org/doi/10.1137/S106482750241459X|journal=SIAM Journal on Scientific Computing|volume=25|issue=3|pages=1066–1087|doi=10.1137/S106482750241459X|bibcode=2003SJSC...25.1066H|issn=1064-8275|access-date=2024-02-03|archive-date=2023-10-23|archive-url=https://web.archive.org/web/20231023143529/https://epubs.siam.org/doi/10.1137/S106482750241459X|dead-url=no}}</ref>及进度优化。
===运筹学===
另一个广泛使用优化技术的领域是[[运筹学]]。<ref>{{cite web|title=New force on the political scene: the Seophonisten |url=http://www.seophonist-wahl.de/ |access-date=2013-09-14 |url-status=dead |archive-url=https://web.archive.org/web/20141218090504/http://www.seophonist-wahl.de/ |archive-date=2014-12-18}}</ref>运筹学也使用随机建模与模拟来支持改进决策。近年来，运筹学越来越多地使用[[随机规划]]模拟适应事件的动态决策；此类问题可通过大规模优化与[[随机优化]]方法来解决。

===控制工程===
数学优化被广泛用于现代控制器设计。[[模型预测控制]]（MPC）与实时优化（RTO）等高级控制器都采用了数学优化。这些算法在线运行，通过迭代求解约束与待控制系统模型在内的数学优化模型，反复确定决策变量的值，如工艺设备中的扼流圈开口。

===地球物理===
优化技术常用于[[地球物理]]参数估计。根据一组测量数据（如地震记录），通常要求底层岩石与流体的[[矿物物理学|物理特性]]与[[地球构造|几何形状]]。地球物理学中大多数问题都是非线性的，确定性方法与随机方法都有广泛使用。

===分子建模===
{{main|分子建模}}
[[构象异构]]常用非线性优化方法。

===生物系统建模===
{{main|生物系统建模}}
优化技术被用于计算系统生物学的许多方面，如建立模型、优化实验设计、代谢工程与合成生物学等。<ref name="Papoutsakis 1984">{{Cite journal|last=Papoutsakis|first=Eleftherios Terry|date=1984-02|title=Equations and calculations for fermentations of butyric acid bacteria|url=https://archive.org/details/sim_biotechnology-and-bioengineering_1984-02_26_2/page/174|journal=Biotechnology and Bioengineering|volume=26|issue=2|pages=174–187|doi=10.1002/bit.260260210|pmid=18551704|s2cid=25023799|issn=0006-3592}}</ref>[[线性规划]]被用于计算发酵产物的最大可能产量，<ref name="Papoutsakis 1984" />从多个微阵列数据集推断基因调控网络<ref>{{Cite journal|last1=Wang|first1=Yong|last2=Joshi|first2=Trupti|last3=Zhang|first3=Xiang-Sun|last4=Xu|first4=Dong|last5=Chen|first5=Luonan|date=2006-07-24|title=Inferring gene regulatory networks from multiple microarray datasets |journal=Bioinformatics|language=en|volume=22|issue=19|pages=2413–2420|doi=10.1093/bioinformatics/btl396|pmid=16864593|issn=1460-2059|doi-access=}}</ref>以及从高通量数据推断转录调控网络等。<ref>{{Cite journal|last1=Wang|first1=Rui-Sheng|last2=Wang|first2=Yong|last3=Zhang|first3=Xiang-Sun|last4=Chen|first4=Luonan|date=2007-09-22|title=Inferring transcriptional regulatory networks from high-throughput data|journal=Bioinformatics|volume=23|issue=22|pages=3056–3064|doi=10.1093/bioinformatics/btm465|pmid=17890736|issn=1460-2059|doi-access=free}}</ref>[[非线性规划]]被用于分析能量代谢<ref>{{Cite journal|last1=Vo|first1=Thuy D.|last2=Paul Lee|first2=W.N.|last3=Palsson|first3=Bernhard O.|date=2007-05|title=Systems analysis of energy metabolism elucidates the affected respiratory chain complex in Leigh's syndrome|journal=Molecular Genetics and Metabolism|volume=91|issue=1|pages=15–22|doi=10.1016/j.ymgme.2007.01.012|pmid=17336115|issn=1096-7192}}</ref>，并被应用于代谢工程与生化途径的参数估计。<ref>{{Cite journal|last1=Mendes|first1=P.|author-link1 = Pedro Pedrosa Mendes|last2=Kell|first2=D.|date=1998|title=Non-linear optimization of biochemical pathways: applications to metabolic engineering and parameter estimation|url=https://archive.org/details/sim_bioinformatics_1998_14_10/page/869|journal=Bioinformatics|volume=14|issue=10|pages=869–883|issn=1367-4803|pmid=9927716|doi=10.1093/bioinformatics/14.10.869|doi-access=free}}</ref>

== 與人工智能的關係 ==

现代的计算机科学技术和人工智能科学把最优化作为一个重要的领域来研究。我们也可以认为人工智能的一些算法，就是模拟了人类寻求实际问题最优解的过程。例如，利用人工智能方法设计软件，配合外部的电子设备例如摄像头识别人脸；利用数据挖掘和神经网络算法来寻找投资的最佳时机等。

==另见==
{{div col|2}}
* [[最优化问题]]
* {{tsl|en|arg max|最值点}}
* [[博弈论]]
* [[运筹学]]
* [[模糊逻辑]]
* [[随机最优化]]
* [[变分不等式]]
* [[单体算法]]
* [[内点法]]
* [[對偶性 (最佳化)]]
{{div col end}}

== 注釋 ==
{{reflist|2}}

== 参考文献 ==
{{refbegin}}
* Stephen Boyd and Lieven Vandenberghe (2004). [http://www.stanford.edu/~boyd/cvxbook.html Convex Optimization] {{Wayback|url=http://www.stanford.edu/~boyd/cvxbook.html |date=20071030012931 }}，Cambridge University Press. ISBN 0-521-83378-7.
{{refend}}
==阅读更多==
* {{cite book |last1=Boyd |first1=Stephen P. |author-link=Stephen P. Boyd |first2=Lieven |last2=Vandenberghe |title=Convex Optimization |location=Cambridge |publisher=Cambridge University Press |year=2004 |isbn=0-521-83378-7 |url=https://web.stanford.edu/~boyd/cvxbook/ |ref=none |access-date=2024-02-03 |archive-date=2021-12-11 |archive-url=https://web.archive.org/web/20211211035846/https://web.stanford.edu/%7Eboyd/cvxbook/ |dead-url=no }}
* {{cite book |first1=P. E. |last1=Gill |first2=W. |last2=Murray |first3=M. H. |last3=Wright |author-link3=Margaret H. Wright |year=1982 |title=Practical Optimization |publisher=Academic Press |location=London |isbn=0-12-283952-8 |ref=none}}
* {{cite book |last=Lee |first=Jon |author-link=Jon Lee (mathematician) |title=A First Course in Combinatorial Optimization |url=https://archive.org/details/firstcourseincom0000leej |publisher=Cambridge University Press |year=2004 |isbn=0-521-01012-8 |ref=none}}
* {{cite book |year=2006 |url=http://www.ece.northwestern.edu/~nocedal/book/num-opt.html |title=Numerical Optimization |edition=2nd |publisher=Springer |location=Berlin |isbn=0-387-30303-0 |first1=Jorge |last1=Nocedal |author-link=Jorge Nocedal |first2=Stephen J. |last2=Wright |ref=none |access-date=2024-02-03 |archive-date=2008-05-30 |archive-url=https://web.archive.org/web/20080530144830/http://www.ece.northwestern.edu/~nocedal/book/num-opt.html |dead-url=no }}

==外部链接==
{{Commons category}}
* {{cite web |url=http://plato.asu.edu/guide.html |title=Decision Tree for Optimization Software |access-date=2024-02-03 |archive-date=2007-03-17 |archive-url=https://web.archive.org/web/20070317074905/http://plato.asu.edu/guide.html |dead-url=no }} Links to optimization source codes
* {{cite web |url=https://www.mat.univie.ac.at/~neum/glopt.html |title=Global optimization |access-date=2024-02-03 |archive-date=2022-01-29 |archive-url=https://web.archive.org/web/20220129065120/https://www.mat.univie.ac.at/~neum/glopt.html |dead-url=yes }}
* {{cite web |url=https://see.stanford.edu/Course/EE364A |title=EE364a: Convex Optimization I |work=Course from Stanford University |access-date=2024-02-03 |archive-date=2024-06-29 |archive-url=https://web.archive.org/web/20240629032324/https://see.stanford.edu/Course/EE364A |dead-url=no }}
* {{cite web |title=Mathematical Optimization: Finding Minima of Functions |first=Gaël |last=Varoquaux |url=https://scipy-lectures.org/advanced/mathematical_optimization/index.html |access-date=2024-02-03 |archive-date=2024-04-16 |archive-url=https://web.archive.org/web/20240416164958/https://scipy-lectures.org/advanced/mathematical_optimization/index.html |dead-url=no }}
{{系统工程|state=collapsed}}

{{数学领域|state=collapsed}}
{{微觀經濟學|state=collapsed}}

{{Authority control}}
[[Category:數學最佳化]]
[[Category:運籌學]]