深度学习基础知识详解

激活函数

常见的激活函数

1. sigmoid函数

函数的定义

f(x) = \frac{1}{1 + e^{-x}}

,其值域为

(0,1)

。 函数图像

图像

2. tanh激活函数

函数的定义为:

f(x) = tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}

,值域为

(-1,1)

。函数图像

pic

3. Relu激活函数

函数的定义为:

f(x) = max(0, x)

,值域为

[0,+∞)

;函数图像

pic

4. Leak Relu激活函数

函数定义为:

f(x) = \left{ \begin{aligned} ax, \quad x<0 \ x, \quad x>0 \end{aligned} \right.

,值域为

(-∞,+∞)

。图像如下(

a = 0.5

):

pic

5. SolftPlus 激活函数

函数的定义为:

f(x) = ln( 1 + e^x)

,值域为

(0,+∞)

。图像如下

pic

6. softmax激活函数

函数定义为:

\sigma(z)j = \frac{e^{z_j}}{\sum{k=1}^K e^{z_k}}


Softmax 多用于多分类神经网络输出。

持续跟新中。。



标 题:《深度学习基础知识详解
作 者:zeekling
提 示:转载请注明文章转载自个人博客:浪浪山旁那个村

评论

取消