Hinge loss

Template:Math 时变量 Template:Mvar（水平方向）的铰链损失（蓝色，垂直方向）与0/1损失（垂直方向；绿色为 Template:Math ，即分类错误）。注意铰接损失在 Template:Math 时也会给出惩罚，对应于支持向量机中间隔的概念。

在機器學習中，鉸鏈損失是一個用於訓練分類器的損失函數。鉸鏈損失被用於「最大間格分類」，因此非常適合用於支持向量機 (SVM)。 对于一个预期输出 $t=\pm 1$，分类结果 $y$ 的鉸鏈損失定義為

$\ell (y)=\max (0,1-t\cdot y)$

特別注意：以上式子的$y$應該使用分類器的「原始輸出」，而非預測標籤。例如，在線性支持向量機當中，$y=𝐰\cdot 𝐱+b$，其中 $(𝐰,b)$ 是超平面参数，$𝐱$是輸入資料點。

當$t$和$y$同號（意即分類器的輸出$y$是正確的分類），且 $|y|\ge 1$时，鉸鏈損失 $\ell (y)=0$。但是，當它們異號（意即分類器的輸出$y$是错误的分類）時，$\ell (y)$ 隨 $y$ 線性增長。套用相似的想法，如果 $|y|<1$，即使 $t$ 和 $y$ 同號（意即分類器的分類正確，但是間隔不足），此時仍然會有損失。

扩展

二元支持向量机经常通过一对多（winner-takes-all strategy，WTA SVM）或一对一（max-wins voting，MWV SVM）策略来扩展为多元分类， 铰接损失也可以做出类似的扩展，已有数个不同的多元分类铰接损失的变体被提出。 例如，Crammer 和 Singer 将一个多元线性分类的铰链损失定义为

$\ell (y)=\max (0,1+\underset{y\ne t}{\max }{𝐰}_y𝐱-{𝐰}_t𝐱)$

其中 $t$ 为目的标签， ${𝐰}_t$ 和 ${𝐰}_y$ 该模型的参数。

Weston 和 Watkins 提出了一个类似的定义，但使用求和代替了最大值：

$\ell (y)=\sum _{y\ne t}\max (0,1+{𝐰}_y𝐱-{𝐰}_t𝐱)$

在结构预测中，铰接损失可以进一步扩展到结构化输出空间。支持间隔调整的结构化支持向量机 可以使用如下所示的铰链损失变体，其中 Template:Math 表示SVM的参数， Template:Math 为SVM的预测结果，Template:Mvar 为联合特征函数，Template:Math 为汉明损失:

$\begin{array}{cc}\ell (𝐲)& =\max (0,\mathrm{\Delta }(𝐲,𝐭)+⟨𝐰,\varphi (𝐱,𝐲)⟩-⟨𝐰,\varphi (𝐱,𝐭)⟩)\\ & =\max (0,\underset{y\in 𝒴}{\max }(\mathrm{\Delta }(𝐲,𝐭)+⟨𝐰,\varphi (𝐱,𝐲)⟩)-⟨𝐰,\varphi (𝐱,𝐭)⟩)\end{array}$

优化算法

铰链损失是一种凸函数，因此许多机器学习中常用的凸优化器均可用于优化铰链损失。 它不是可微函数，但拥有一个关于线性 SVM 模型参数 Template:Math 的次导数

$\frac{\partial \ell }{\partial w_i}=\{\begin{array}{cc}-t\cdot x_i& \text{if }t\cdot y<1\\ 0& \text{otherwise}\end{array}$

其评分函数为 $y=𝐰\cdot 𝐱$

三个铰链损失的变体 Template:Math：“普通变体”（蓝色），平方变体（绿色），以及 Rennie 和 Srebro 提出的分段平滑变体（红色）。

然而，由于铰接损失在 $ty=1$处不可导， Zhang 建议在优化时可使用平滑的变体建议， 如Rennie 和 Srebro 提出的分段平滑

$\ell (y)=\{\begin{array}{cc}\frac{1}{2}-ty& \text{if}ty\le 0,\\ \frac{1}{2}(1-ty{)}^2& \text{if}0<ty\le 1,\\ 0& \text{if}1\le ty\end{array}$

或平方平滑。

${\ell }_{\gamma }(y)=\{\begin{array}{cc}\frac{1}{2\gamma }\max (0,1-ty{)}^2& \text{if}ty\ge 1-\gamma \\ 1-\frac{\gamma }{2}-ty& \text{otherwise}\end{array}$

Modified Huber loss $L$是$\gamma =2$时损失函数的特例，此时 $L(t,y)=4{\ell }_2(y)$中。