凸函数

凸函数的圖像上任取兩點，連成的線段必在圖像上方。

二元二次多項式函數$(x,y)\mapsto x^2+xy+y^2$的圖像，形如開口向上的碗。

凸函数（英文：Convex function）是指函数图形上，任意兩點連成的線段，皆位於圖形的上方的实值函数，如單變數的二次函数和指数函数。二階可導的一元函數$f$為凸，当且仅当其定義域為凸集，且函數的二階導數$f^{″}$在整個定義域上非負。直觀理解，凸函數的圖像形如開口向上的杯$\cup$，而相反，凹函数則形如開口向下的帽$\cap$。

在最优化研究中，凸函數的最小化問題有唯一性，即凸開集上的嚴格凸函數，至多只有一個極小值。

概率论中，凸函數$f$作用在某随机变量期望值$𝔼[X]$所得的結果，總不大於對隨機變量先取函數值再取期望，即

$f(𝔼[X])\le 𝔼[f(X)],$

稱為延森不等式。該不等式可以推導出均值不等式及赫尔德不等式等結果。

定義

File:Convex 01.ogv

$C$為某實向量空間的凸子集，若实值函数$f:C\to ℝ$ 對任意 $0\le t\le 1$及任意$v,w\in C$，皆有

$f[v+t\cdot (w-v)]\le f(v)+t\cdot [f(w)-f(v)]$

則 $f$ 稱為凸函数。

若 $C\subseteq ℝ$ ，然後在 $f$ 圖像上任取兩點$(x_1,f\left(x_1\right))$和$(x_2,f\left(x_2\right))$ 連線，則連線上某點 $p$ 的 $x$ 座標可以想成從 $x_1$ 出發，前進了 $x_2-x_1$ 這整段的一部分而已，也就是說

$0\le t=\frac{x-x_1}{x_2-x_1}\le 1$

循著同樣的比例 $t$ ， $p$ 的 $y$ 座標就可以寫成

$0\le t=\frac{y-f(x_1)}{f(x_2)-f(x_1)}\le 1$

但同樣的 $x$ 座標下，對應的 $f$ 函數值就是

$f[x_1+t\cdot (x_2-x_1)]$

所以，凸函數的定義意為，$f$ 的圖像上，任意相異兩點的連線不能低於中間$f$ 的曲線。換言之，函數的Template:Le（圖像上方的點的集合）为凸集。

严格凸函数

若將定義的$\le$號換成$<$，則得到嚴格凸的定義：

$f$稱為嚴格凸，意思是對$0<t<1$和任意不相等的$v,w\in C$，皆有

$f[v+t\cdot (w-v)]<f(v)+t\cdot [f(w)-f(v)]$

若 $C\subseteq ℝ$ ，在嚴格凸函數$f$的圖像曲線上，任意兩相異點的連線，除端點外皆高於曲線。

几乎凸函数

若 $C\subseteq ℝ$，实值函数$f:C\to ℝ$ 對於任意三實數 $x\le z\le y$ ，都有$f(z)\le \max \{f(x),f(y)\}$，則稱 $f$ 是幾乎凸的。

性质

凸函數的某些性質，多元情況的敍述與一元情況同樣簡單。此種性質，可能僅於多元情況列舉，恕不在一元情況贅述。

一元情況

函数（蓝色）是凸的，当且仅当其上方的区域（绿色）是一个凸集。

• 設$f$是一元實函數，定義域為區間。考慮割線斜率$$R(x_1,x_2)=\frac{f(x_2)-f(x_1)}{x_2-x_1},$$則函數$R$是對稱函數，即關於$R(x_1,x_2)=R(x_2,x_1)$。$f$為凸，當且僅當對每個固定的$x_2$，皆有$R(x_1,x_2)$關於$x_1$單調不減（或由對稱性，可將此句中$x_1,x_2$互換）。此刻劃有助證明以下的結果。
• 若一元凸函数$f$定义在开区间$C$內，則在C内连续，且處處有左側及右側的Template:Le。如此定義的兩個單邊導函數，皆為單調不減。由此推出，除可数个点外，$f$在其他点皆可微（不過不可導的點組成的集合，仍有可能稠密）。如果$C$是闭区间，那么$f$有可能在$C$的端点不连续，見例子。
• 一元可微函数在区间上是凸的，当且仅当函数位于所有它的切线的上方：Template:Rp对于区间内的所有$x$和$y$，都有$$f(x)\ge f(y)+f^{\prime }(y)(x-y).$$特别地，如果$f^{\prime }(y)=0$，則上式化為$f(x)\ge f(y)$，故$f(y)$是$f$的最小值。
• 一元可微函数在某个区间上是凸的，当且仅当它的导数在该区间上单调不减。若一元函數既凸又可導，則其導數也連續。
• 一元二阶可微的函数在区间上是凸的，当且仅当它的二阶导数是非负的；这是判断某个函数是否凸的實用方法。直觀地，二階可導的凸函數「向上彎」，而不會屈向另一邊（即無拐点）。如果它的二阶导数是正数，那么函数就是严格凸的，但反过来不成立。例如，$f(x)=x^4$的二阶导数是$f^{″}(x)=12x^2$，当$x=0$时为零，但$f$是严格凸的。
  • 此性質的條件「二階導數非負」與前一個性質的條件「導數單調不減」有差異。若$f^{″}$在區間$C$非負，則的確$f^{\prime }$在$C$單調不減。反之則不然，因為可能有$f^{\prime }$在$C$單調不減，但在某點不可導，即$f^{″}$在$C$中某點無定義。
• 若$f$為一元凸函數，且$f(0)\le 0$，則$f$在正數集內為Template:Link-en，即$f(a+b)\ge f(a)+f(b)$對任意正實數$a,b$成立。

多元情況

更一般地，多元二次可微的连续函数在凸集上是凸的，当且仅当它的黑塞矩阵在凸集的内部是半正定的。

凸函数的任何极小值也是最小值。严格凸函数最多有一个最小值。

对于凸函数f，水平子集{x | f(x) < a}和{x | f(x) ≤ a}（a ∈ R）是凸集。然而，水平子集是凸集的函数不一定是凸函数；这样的函数称为拟凸函数。

延森不等式对于每一个凸函数f都成立。如果$X$是一个随机变量，在f的定义域内取值，那么$f(𝔼[X])\le 𝔼[f(X)],$（在这里，$E$表示数学期望。）

凸函數的初等運算

• 如果$f$和$g$是凸函數，那麼$m(x)=\max \{f(x),g(x)\}$和$h(x)=f(x)+g(x)$也是凸函數。
• 如果$f$和$g$是凸函數，且$g$遞增，那麼$h(x)=g(f(x))$是凸函數。
• 凸性在仿射映射下不變：也就是說，如果$f(x)$是凸函數（$x\in {ℝ}^n$），那麼$g(y)=f(Ay+b)$也是凸函數，其中$A\in {ℝ}^{n\times m},b\in {ℝ}^n.$
• 如果$f(x,y)$在$(x,y)$內是凸函數，且$C$是一個凸的非空集，那麼$g(x)=\underset{y\in C}{\inf }f(x,y)$在$x$內是凸函數，只要對於某個$x$，有$g(x)>-\mathrm{\infty }$。

例子

• 函数$f(x)=x^2$处处有$f{}^{″}(x)=2>0$，因此f是一个（严格的）凸函数。
• 绝对值函数$f(x)=|x|$是凸函数，虽然它在点x = 0没有导数。
• 当$p⩾1$时，函数$f(x)=|x{|}^p$是凸函数。
• 定义域为[0,1]的函数f，定义为f(0)=f(1)=1，当0<x<1时f(x)=0，是凸函数；它在开区间(0,1)内连续，但在0和1不连续。
• 函数$f(x)=x^3$的二阶导数为$f{}^{″}(x)=6x$，因此它在x ≥ 0的集合上是凸函数，在x ≤ 0的集合上是凹函数。
• 每一个在$ℝ$内取值的线性变换都是凸函数，但不是严格凸函数，因为如果f是线性函数，那么$f(a+b)=f(a)+f(b)$。如果将“凸”替换为“凹”，该命题也成立。
• 每一个在$ℝ$内取值的仿射变换，也就是说，每一个形如$f(x)=a^{T}x+b$的函数，既是凸函数又是凹函数。
• 每一个范数都是凸函数，这是由于三角不等式。
• 如果$f$是凸函数，那么当$t>0$时，$g(x,t)=tf(x/t)$是凸函数。
• $f(x)=\sqrt{x}$和$g(x)=\log (x)$为单调递增但非凸的函数。
• 函数f(x) = 1/x²，f(0)=+∞，在区间(0,+∞)内是凸函数，在区间(-∞,0)内也是凸函数，但是在区间(-∞,+∞)内不是凸函数，这是由于x = 0处的奇点。

参见

• 凹函数
• 凸集
• 對數凸函數

参考文献

• Template:Cite web
• Template:Cite book
• Template:Cite book
• Template:Cite book
• Template:Cite book
• Template:Cite book

• Hiriart-Urruty, Jean-Baptiste, and Lemaréchal, Claude. (2004). Fundamentals of Convex analysis. Berlin: Springer.
• Template:Cite book
• Borwein, Jonathan, and Lewis, Adrian. (2000). Convex Analysis and Nonlinear Optimization. Springer.