分類問題之損失函數

各种代理损失函数的曲线。蓝色为0–1指示函数，绿色为平方损失函数，紫色为铰链损失函数，黄色为逻辑损失函数。注意所有代理损失函数对Template:Math均给出1的惩罚。

在機器學習和最佳化領域中，分類問題之損失函數可以用來表達預測不準確之程度，其中分類問題主要是用來判斷所偵測到的物件屬於什麼類別。將一個向量空間$X$做為所有的輸入值，而向量空間$Y=\{-1,1\}$做為所有的輸出值。我们希望能夠找到最佳的公式$f:X\to \mathrm{\Re }$將$\overrightarrow{x}$映射到$y$。然而，由于信息不完整、雜訊、计算過程中的非确定性模块等因素，有可能會有相同的輸入值$\overrightarrow{x}$映射到不同的輸出值$y$。因此，這個學習過程的目的就是要最小化預期風險（更详细的介绍参见统计学习理论），預期風險之定義為：

$I[f]={\int }_{X\times Y}^{}V(f(\overrightarrow{x},y))p(\overrightarrow{x},y)d\overrightarrow{x}dy$

其中$V(f(\overrightarrow{x},y))$即損失函數，而$p(\overrightarrow{x},y)$為機率密度函數。而實作上概率分布$p(\overrightarrow{x},y)$通常是未知的，因此我们使用由数据样本空间中取出的$n$個獨立且同分布（i.i.d.）的樣本點

$S=\{(\overrightarrow{x_1},y_1),...,(\overrightarrow{x_n},y_n)\}$作为训练集，將樣本空間所得到的经验風險做為預期風險的替代，其定義為：

$I_S[f]=\frac{1}{n}\sum _{i=1}^{n}V(f(\overrightarrow{x_i},y_i))$

基於分類問題的二元性，可定義0-1函數做為匹配值之基準。因此損失函數為：

$V(f(\overrightarrow{x},y))=H(-yf(\overrightarrow{x}))$

其中$H$為步階函數。然而損失函數並不是凸函數或平滑函數，是一種NP-hard的問題，因此做為替代，需要使用可以追蹤的機器學習演算法（透過凸損失函數）。

分類問題之界線

使用貝式定理，可以基於問題的二元性最佳化映射公式$f^{*}$為：

$f^{*}(\overrightarrow{x})=\{\begin{array}{cc}1,& \text{if }p(1\mid \overrightarrow{x})>p(-1\mid \overrightarrow{x})\\ -1,& \text{if }p(1\mid \overrightarrow{x})<p(-1\mid \overrightarrow{x})\end{array}$

當$p(1\mid \overrightarrow{x})\ne p(-1\mid \overrightarrow{x})$

簡化分類問題預期風險

$\begin{array}{cc}I[f(x)]& =\underset{X\times Y}{\overset{}{\int }}V(f(\overrightarrow{x},y))p(\overrightarrow{x},y)d\overrightarrow{x}dy\\ & =\underset{X}{\overset{}{\int }}\underset{Y}{\overset{}{\int }}V(f(\overrightarrow{x},y))p(\overrightarrow{x},y)p(\overrightarrow{x})dyd\overrightarrow{x}\\ & =\underset{X}{\overset{}{\int }}[V(-f(\overrightarrow{x})p(1\mid x)+V(f(\overrightarrow{x})p(-1\mid x)]p(\overrightarrow{x})d\overrightarrow{x}\\ & =\underset{X}{\overset{}{\int }}[V(-f(\overrightarrow{x})p(1\mid x)+V(f(\overrightarrow{x})(1-p(1\mid x))]p(\overrightarrow{x})d\overrightarrow{x}\end{array}$

平方損失

$V(f(\overrightarrow{x},y))=(1-yf(\overrightarrow{x}){)}^2$

平方損失凸且平滑，但容易過度懲罰錯誤預測，導致收斂速度比邏輯損失和鏈結損失慢。它的優點為有助於簡化交叉驗證之正則化（regularization）。

最小化預期風險之映射函數為：

$f_{Square}^{*}=2p(1\mid x)-1$

鏈結損失

$V(f(\overrightarrow{x}),y)=\max (0,1-yf(\overrightarrow{x}))=|1-yf(\overrightarrow{x}){|}_{+}$

鏈結損失公式等同於支持向量機（SVM）的損失公式。鏈結損失凸但不平滑（在$yf(\overrightarrow{x}))=1$不可微分），因此不適用於梯度下降法和隨機梯度下降法，但適用次梯度下降法。 最小化預期風險之映射函數為：

$f_{Square}^{*}=2p(1\mid x)-1$

廣義平滑鏈結損失

$f_{\alpha }^{*}(z)=\{\begin{array}{cc}\frac{\alpha }{\alpha +1}& \text{if }z<0\\ \frac{1}{\alpha +1}{z}^{\alpha +1}-z+\frac{\alpha }{\alpha +1}& \text{if }0<z<1\\ 0& \text{if }z\ge 1\end{array}$

其中$z=yf(\overrightarrow{x})$

邏輯損失

$V(f(\overrightarrow{x}),y)=\frac{1}{\ln 2}\ln (1+e^{-yf(\overrightarrow{x})})$

適用於梯度下降法，但不會對錯誤預測做懲罰。 最小化預期風險之映射函數為：

$f_{\text{Logistic}}^{*}=\ln \left(\frac{p(1\mid x)}{1-p(1\mid x)}\right).$

交叉熵損失

$V(f(\overrightarrow{x}),t)=-t\ln (f(\overrightarrow{x}))-(1-t)\ln (1-f(\overrightarrow{x}))$

其中$t=(1+y)/2$ so that $t\in \{0,1\}$ 屬於凸函數，適用於隨機梯度下降法。

指數損失

$V(f(\overrightarrow{x}),y)=e^{-\beta yf(\overrightarrow{x})}$