sigmoid单元：阈值输出是输入的连续函数--挤压函数

导数：

 

反向传播算法：

误差：

 

 

 

 

 缓解局部极小值：

1.增加冲量

2.使用不同的随机权值初始化每个网络

 

解决过度拟合:

1.训练数据  验证数据

2.小数据集   k-fold 交叉验证

 

其他可选误差和最小化过程