一些激活函数的实现python

• sigmod函数

 

 

 

def sigmoid(x):

　　 return 1 / (1 + np.exp(-x))

 

• 阶跃函数
• 

   

   

def step_function(x):

　　 if x > 0:

　　　　return 1

　　else:

　　　　return 0

• ReLU（rectified）函数
• 

   

   

 

 

def relu(x):

　　return np.maximum(0, x)

 

• 恒等函数（回归问题时的输出）

 

 

 

 

• softmax函数（分类问题输出时）

 

 

 

 def softmax(a):

　　exp_a = np.exp(a)

　　sum_exp_a = np.sum(exp_a)

　　y = exp_a / sum_exp_a

　　return y

 

softmax函数的输出是0.0到1.0之间的实数。并且，softmax 函数的输出值的总和是1。输出总和为1是softmax函数的一个重要性质。正 因为有了这个性质，我们才可以把softmax函数的输出解释为“概率”