激活函数

Template:NoteTA Template:Expand language Template:Translating 在计算网络中， 一个节点的激活函数定义了该节点在给定的输入或输入的集合下的输出。标准的计算机芯片电路可以看作是根据输入得到开（1）或关（0）输出的數位電路激活函数。这与神经网络中的线性感知机的行为类似。然而，只有非線性激活函数才允許這種網絡僅使用少量節點來計算非平凡問題。 在人工神經網絡中，這個功能也被稱為傳遞函數。

单变量输入激活函數

名稱	函數圖形	方程式	導數	區間	连续性Template:Ref	單調	一阶导数单调	原点近似恒等
恆等函數		$f(x)=x$	$f^{\prime }(x)=1$	$(-\mathrm{\infty },\mathrm{\infty })$	$C^{\mathrm{\infty }}$	Template:Yes	Template:Yes	Template:Yes
單位階躍函數		$f(x)=\{\begin{array}{cc}0& \text{for }x<0\\ 1& \text{for }x\ge 0\end{array}$	$f^{\prime }(x)=\{\begin{array}{cc}0& \text{for }x\ne 0\\ \text{不 存 在}& \text{for }x=0\end{array}$	$\{0,1\}$	$C^{-1}$	Template:Yes	Template:No	Template:No
邏輯函數 (S函數的一种)		$f(x)=\sigma (x)=\frac{1}{1+e^{-x}}$Template:Ref	$f^{\prime }(x)=f(x)(1-f(x))$	$(0,1)$	$C^{\mathrm{\infty }}$	Template:Yes	Template:No	Template:No
雙曲正切函數		$f(x)=\tanh (x)=\frac{(e^x-e^{-x})}{(e^x+e^{-x})}$	$f^{\prime }(x)=1-f(x{)}^2$	$(-1,1)$	$C^{\mathrm{\infty }}$	Template:Yes	Template:No	Template:Yes
反正切函數		$f(x)={\tan }^{-1}(x)$	$f^{\prime }(x)=\frac{1}{x^2+1}$	$(-\frac{\pi }{2},\frac{\pi }{2})$	$C^{\mathrm{\infty }}$	Template:Yes	Template:No	Template:Yes
Softsign 函數		$f(x)=\frac{x}{1+|x|}$	$f^{\prime }(x)=\frac{1}{(1+|x|{)}^2}$	$(-1,1)$	$C^1$	Template:Yes	Template:No	Template:Yes
反平方根函數 (ISRU)		$f(x)=\frac{x}{\sqrt{1+\alpha x^2}}$	$f^{\prime }(x)={\left(\frac{1}{\sqrt{1+\alpha x^2}}\right)}^3$	$(-\frac{1}{\sqrt{\alpha }},\frac{1}{\sqrt{\alpha }})$	$C^{\mathrm{\infty }}$	Template:Yes	Template:No	Template:Yes
線性整流函數 (ReLU)		$f(x)=\{\begin{array}{cc}0& \text{for }x<0\\ x& \text{for }x\ge 0\end{array}$	$f^{\prime }(x)=\{\begin{array}{cc}0& \text{for }x<0\\ 1& \text{for }x\ge 0\end{array}$	$[0,\mathrm{\infty })$	$C^0$	Template:Yes	Template:Yes	Template:No
帶泄露線性整流函數 (Leaky ReLU)		$f(x)=\{\begin{array}{cc}0.01x& \text{for }x<0\\ x& \text{for }x\ge 0\end{array}$	$f^{\prime }(x)=\{\begin{array}{cc}0.01& \text{for }x<0\\ 1& \text{for }x\ge 0\end{array}$	$(-\mathrm{\infty },\mathrm{\infty })$	$C^0$	Template:Yes	Template:Yes	Template:No
參數化線性整流函數 (PReLU)		$f(\alpha ,x)=\{\begin{array}{cc}\alpha x& \text{for }x<0\\ x& \text{for }x\ge 0\end{array}$	$f^{\prime }(\alpha ,x)=\{\begin{array}{cc}\alpha & \text{for }x<0\\ 1& \text{for }x\ge 0\end{array}$	$(-\mathrm{\infty },\mathrm{\infty })$	$C^0$	Template:Depends	Template:Yes	Template:Depends
帶泄露隨機線性整流函數 (RReLU)		$f(\alpha ,x)=\{\begin{array}{cc}\alpha x& \text{for }x<0\\ x& \text{for }x\ge 0\end{array}$Template:Ref	$f^{\prime }(\alpha ,x)=\{\begin{array}{cc}\alpha & \text{for }x<0\\ 1& \text{for }x\ge 0\end{array}$	$(-\mathrm{\infty },\mathrm{\infty })$	$C^0$	Template:Yes	Template:Yes	Template:No
指數線性函數 (ELU)		$f(\alpha ,x)=\{\begin{array}{cc}\alpha (e^x-1)& \text{for }x<0\\ x& \text{for }x\ge 0\end{array}$	$f^{\prime }(\alpha ,x)=\{\begin{array}{cc}f(\alpha ,x)+\alpha & \text{for }x<0\\ 1& \text{for }x\ge 0\end{array}$	$(-\alpha ,\mathrm{\infty })$	$\{\begin{array}{cc}{C}_1& \text{when }\alpha =1\\ C_0& \text{otherwise }\end{array}$	Template:Depends	Template:Depends	Template:Depends
擴展指數線性函數 (SELU)		$f(\alpha ,x)=\lambda \{\begin{array}{cc}\alpha (e^x-1)& \text{for }x<0\\ x& \text{for }x\ge 0\end{array}$ with $\lambda =1.0507$ and $\alpha =1.67326$	$f^{\prime }(\alpha ,x)=\lambda \{\begin{array}{cc}\alpha (e^x)& \text{for }x<0\\ 1& \text{for }x\ge 0\end{array}$	$(-\lambda \alpha ,\mathrm{\infty })$	$C^0$	Template:Yes	Template:No	Template:No
S 型線性整流激活函數 (SReLU)		$f_{t_l,a_l,t_r,a_r}(x)=\{\begin{array}{cc}{t}_l+a_l(x-t_l)& \text{for }x\le t_l\\ x& \text{for }{t}_l<x<t_r\\ t_r+a_r(x-t_r)& \text{for }x\ge t_r\end{array}$ $t_l,a_l,t_r,a_r$ are parameters.	$f{\text{'}}_{t_l,a_l,t_r,a_r}(x)=\{\begin{array}{cc}{a}_l& \text{for }x\le t_l\\ 1& \text{for }{t}_l<x<t_r\\ a_r& \text{for }x\ge t_r\end{array}$	$(-\mathrm{\infty },\mathrm{\infty })$	$C^0$	Template:No	Template:No	Template:No
反平方根線性函數 (ISRLU)		$f(x)=\{\begin{array}{cc}\frac{x}{\sqrt{1+\alpha x^2}}& \text{for }x<0\\ x& \text{for }x\ge 0\end{array}$	$f^{\prime }(x)=\{\begin{array}{cc}{\left(\frac{1}{\sqrt{1+\alpha x^2}}\right)}^3& \text{for }x<0\\ 1& \text{for }x\ge 0\end{array}$	$(-\frac{1}{\sqrt{\alpha }},\mathrm{\infty })$	$C^2$	Template:Yes	Template:Yes	Template:Yes
自適應分段線性函數 (APL)		$f(x)=\max (0,x)+\sum _{s=1}^S{a}_i^s\max (0,-x+b_i^s)$	$f^{\prime }(x)=H(x)-\sum _{s=1}^S{a}_i^{s}H(-x+b_i^s)$Template:Ref	$(-\mathrm{\infty },\mathrm{\infty })$	$C^0$	Template:No	Template:No	Template:No
SoftPlus 函數		$f(x)=\ln (1+e^x)$	$f^{\prime }(x)=\frac{1}{1+e^{-x}}$	$(0,\mathrm{\infty })$	$C^{\mathrm{\infty }}$	Template:Yes	Template:Yes	Template:No
彎曲恆等函數		$f(x)=\frac{\sqrt{x^2+1}-1}{2}+x$	$f^{\prime }(x)=\frac{x}{2\sqrt{x^2+1}}+1$	$(-\mathrm{\infty },\mathrm{\infty })$	$C^{\mathrm{\infty }}$	Template:Yes	Template:Yes	Template:Yes
S 型线性加权函数 (SiLU) (也被稱為Swish)		$f(x)=x\cdot \sigma (x)$Template:Ref	$f^{\prime }(x)=f(x)+\sigma (x)(1-f(x))$Template:Ref	$[\approx -0.28,\mathrm{\infty })$	$C^{\mathrm{\infty }}$	Template:No	Template:No	Template:No
软指数函數		$f(\alpha ,x)=\{\begin{array}{cc}-\frac{\ln (1-\alpha (x+\alpha ))}{\alpha }& \text{for }\alpha <0\\ x& \text{for }\alpha =0\\ \frac{e^{\alpha x}-1}{\alpha }+\alpha & \text{for }\alpha >0\end{array}$	$f^{\prime }(\alpha ,x)=\{\begin{array}{cc}\frac{1}{1-\alpha (\alpha +x)}& \text{for }\alpha <0\\ e^{\alpha x}& \text{for }\alpha \ge 0\end{array}$	$(-\mathrm{\infty },\mathrm{\infty })$	$C^{\mathrm{\infty }}$	Template:Yes	Template:Yes	Template:Depends
正弦函數		$f(x)=\sin (x)$	$f^{\prime }(x)=\cos (x)$	$[-1,1]$	$C^{\mathrm{\infty }}$	Template:No	Template:No	Template:Yes
Sinc 函數		$f(x)=\{\begin{array}{cc}1& \text{for }x=0\\ \frac{\sin (x)}{x}& \text{for }x\ne 0\end{array}$	$f^{\prime }(x)=\{\begin{array}{cc}0& \text{for }x=0\\ \frac{\cos (x)}{x}-\frac{\sin (x)}{x^2}& \text{for }x\ne 0\end{array}$	$[\approx -0.217234,1]$	$C^{\mathrm{\infty }}$	Template:No	Template:No	Template:No
高斯函數		$f(x)=e^{-x^2}$	$f^{\prime }(x)=-2x{e}^{-x^2}$	$(0,1]$	$C^{\mathrm{\infty }}$	Template:No	Template:No	Template:No

说明

Template:Note若一函数是连续的，则称其为$C^0$函数；若一函数$n$阶可导，并且其$n$阶导函数连续，则为$C^n$函数（$n\ge 1$）；若一函数对于所有$n$都属于$C^n$函数，则称其为$C^{\mathrm{\infty }}$函数，也称光滑函数。

Template:Note此處Template:Mvar是單位階躍函數。

Template:NoteTemplate:Mvar是在訓練時間從均勻分佈中抽取的隨機變量，並且在測試時間固定為分佈的期望值。

Template:NoteTemplate:NoteTemplate:Note此處$\sigma$是邏輯函數。

多变量输入激活函数

名稱	方程式	導數	區間	光滑性
Softmax函數	$f_i(\overrightarrow{x})=\frac{e^{x_i}}{\sum _{j=1}^J{e}^{x_j}}$    for Template:Mvar = 1, …, Template:Mvar	$\frac{\partial f_i(\overrightarrow{x})}{\partial x_j}=f_i(\overrightarrow{x})({\delta }_{ij}-f_j(\overrightarrow{x}))$Template:Ref	$(0,1)$	$C^{\mathrm{\infty }}$
Maxout函數	$f(\overrightarrow{x})=\underset{i}{\max }{x}_i$	$\frac{\partial f}{\partial x_j}=\{\begin{array}{cc}1& \text{for }j=\underset{i}{\mathrm{argmax}}{x}_i\\ 0& \text{for }j\ne \underset{i}{\mathrm{argmax}}{x}_i\end{array}$	$(-\mathrm{\infty },\mathrm{\infty })$	$C^0$

说明

Template:Note 此處Template:Mvar是克羅內克δ函數。

參見

• 邏輯函數
• 線性整流函數
• Softmax函數
• 人工神經網路
• 深度學習