激活函数
常见的激活函数
1. sigmoid函数
函数的定义
f(x) = \frac{1}{1 + e^{-x}}
,其值域为
(0,1)
。 函数图像
![图像](https://img.zeekling.cn/images/2020/04/25/13354d2c03c7a7c775dd1e0acbf0c9df.png?imageView2/2/w/1280/format/jpg/interlace/1/q/100)
2. tanh激活函数
函数的定义为:
f(x) = tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}
,值域为
(-1,1)
。函数图像
![pic](https://img.zeekling.cn/images/2020/04/25/79c22aa14fb2b336696b6658fff87708.png?imageView2/2/w/1280/format/jpg/interlace/1/q/100)
3. Relu激活函数
函数的定义为:
f(x) = max(0, x)
,值域为
[0,+∞)
;函数图像
![pic](https://img.zeekling.cn/images/2020/04/25/2ba84d3c3a88ae72d8d0c9221c30ff01.png?imageView2/2/w/1280/format/jpg/interlace/1/q/100)
4. Leak Relu激活函数
函数定义为:
f(x) = \left{ \begin{aligned} ax, \quad x<0 \ x, \quad x>0 \end{aligned} \right.
,值域为
(-∞,+∞)
。图像如下(
a = 0.5
):
![pic](https://img.zeekling.cn/images/2020/04/25/545a4a82b1d5096578f13a0df355543c.png?imageView2/2/w/1280/format/jpg/interlace/1/q/100)
5. SolftPlus 激活函数
函数的定义为:
f(x) = ln( 1 + e^x)
,值域为
(0,+∞)
。图像如下
![pic](https://img.zeekling.cn/images/2020/04/25/4e7a0cc8ce6550b3adcf6c235d6da2e4.png?imageView2/2/w/1280/format/jpg/interlace/1/q/100)
6. softmax激活函数
函数定义为:
\sigma(z)j = \frac{e^{z_j}}{\sum{k=1}^K e^{z_k}}
。
Softmax 多用于多分类神经网络输出。
持续跟新中。。