摘要：
Sigmoid Function $$ \sigma(z)=\frac{1}{1+e^{( z)}} $$ feature: 1. axial symmetry： $$ \sigma(z)+ \sigma( z)=1 $$ 2. gradient: $$ \frac{\partial\sigma(z 阅读全文
摘要：
Linear neuron: $$y=b+\sum\limits_i{x_i w_i}$$ Binary threshold neuron: $$z = \sum\limits_i{x_i w_i}$$ $$y=\left\{\begin{aligned} 1,~~~~~~~z\gt \theta 阅读全文
摘要：
Softmax function Softmax 函数 $y=[y_1,\cdots,y_m]$ 定义如下： $$y_i=\frac{exp(z_i)}{\sum\limits_{j=1}^m{exp(z_j)}}, i=1,2,\cdots,m$$ 它具有很好的求导性质： $$\frac{\par 阅读全文