摘要：
阅读全文
摘要：
一、优化算法：我们知道，经过网络层的计算后，计算结果可能距离真值很远，此时，我们需要通过优化算法来不断调整计算值，使其最终的计算结果——预测值，与真值中的差异尽量小。 二、优化算法举例： 1、梯度下降： Mini-batch梯度下降：用子训练集进行梯度下降 batch梯度下降：用整个训练集进行梯度下 阅读全文
摘要：
一、激活函数：是一个非线性函数，用激活函数套在线性函数外面，正割函数就变成非线性函数，用在神经网络中，可以使得本只能拟合线性曲线的网络层，可以拟合非线性曲线。 二、激活函数举例： 1、sigmoid: y=1/(1+e^{-x}) ——>0<y<1,mean=0.5，适用于二分类 2、tanh: y 阅读全文