常见激活函数汇总

Sigmoid

Sigmoid 常用于二分类和多标签分类的最后一层，能将实数值映射到0-1之间。

函数式：

$$σ(x) = \frac{1}{1+e^{-x}}$$

导数式：

$$σ'(x) = σ(x)×(1-σ(x))$$

函数图像：

ReLU

ReLU是神经网络激活层最常用的一种函数，因为其运算简单、易于求导，能用最简单的方式实现非线性运算的性质。

函数式：

$$f(x)=max(0,x)$$

函数图像：

Tanh

常见于递归神经网络。

函数式：

$$f(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$

函数图像：

Leaky ReLU

函数式：

$$f(x)=\left\{ \begin{aligned} x, \quad x\geq0\\ ax, \quad x<0 \end{aligned} \right.$$

函数图像：

PReLU

PReLU(Parametric Rectified Linear Unit) 参数化修正线性单元。其参数随着网络训练而改变。

参数更新：

RReLU

Random Leaky ReLU，其参数是随机生成的在[0, 1)之间的值。

ELU

指数线性单元。右侧线性部分使得ELU能够缓解梯度消失，而左侧软饱能够让ELU对输入变化或噪声更鲁棒。ELU的输出均值接近于零，所以收敛速度更快。α为常数。