斜坡函数

斜坡函数的圖

斜坡函数是一個Template:Link-en實函數，因此其圖形類似斜坡，故得其名，斜坡函数有許多不同的定義方式，例如「負值時為０，其他值的輸出等於輸入」。斜坡函数的斜率以及斜坡的位置也可以調整，此條目中的斜坡函数是單位斜坡函数（斜坡斜率為1，從0的位置開始）。

在机器学习中，常會稱斜坡函数為ReLU激活函数，或是线性整流函数，類似電子工程中的半波整流器。若用在統計學的似然函数，會稱為Template:Le。

斜坡函数在數學以及工程上有許多的應用，依使用的情境不同，也有不同的名稱。也有不少類似斜坡函数的函數。

定義

斜坡函数（$R(x):ℝ\to ℝ$）可以用許多的解析方式來定義。以下是一些定義：

$R(x):=\{\begin{array}{cc}x,& x\ge 0;\\ 0,& x<0\end{array}$

或

$R(x):=\max (x,0)$

• 单位阶跃函数乘以x：

$R\left(x\right):=xH\left(x\right)$

• 单位阶跃函数和其本身的卷積：

$R\left(x\right):=H\left(x\right)*H\left(x\right)$

• 单位阶跃函数的積分：

$R(x):=\underset{-\mathrm{\infty }}{\overset{x}{\int }}H(\xi )\mathrm{d}\xi$

• Template:Link-en：

$R(x):=⟨x⟩$

解析性質

非零性質

此函數在整個定義域中的值都是非負值，因此其絕對值都是其自身。

$\mathrm{\forall }x\in ℝ:R(x)⩾0$

及

$\left|R\left(x\right)\right|=R\left(x\right)$

導數

斜坡函数的導數為单位阶跃函数

$R^{\prime }(x)=H(x)\mathrm{i}\mathrm{f}x\ne 0$

傅里叶变换

斜坡函数的傅里叶变换如下

$ℱ\{R(x)\}(f)$ $=$ $\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}R(x)e^{-2\pi ifx}dx$ $=$ $\frac{i{\delta }^{\prime }(f)}{4\pi }-\frac{1}{4{\pi }^2{f}^2}$

其中$\delta (x)$為狄拉克δ函数（在此公式中，有出現其微分項）

拉普拉斯變換

斜坡函数的傅里叶变换如下

$R(x)$單邊的拉普拉斯變換定義如下：

$ℒ\left\{R\left(x\right)\right\}(s)=\underset{0}{\overset{\mathrm{\infty }}{\int }}{e}^{-sx}R(x)dx=\frac{1}{s^2}.$

代數性質

迭代不變性

斜坡函数的每個迭代函数都是其自身：
$R\left(R\left(x\right)\right)=R\left(x\right)$.

• 證明：$R(R(x)):=\frac{R(x)+|R(x)|}{2}=\frac{R(x)+R(x)}{2}$ $=$
  $=$ $\frac{2R(x)}{2}=R(x)$.

此處應用到非零性質。

參考資料

• Mathworld Template:Wayback