•激活函数用于决定如何激活输入信号的总和，激活函数会将输入信号的总和转化为输出信号。
•输出层的激活函数根据实际问题决定，一般
回归问题使用恒等函数，
二元分类使用sigmoid函数，
多元分类使用softmax函数。
•防止softmax函数溢出的策略通常是 每个值都减去数组中的最大值，再进行softmax运算，结果不发生改变。
原理如下：
