摘要：
梯度下降 （ "Boyd & Vandenberghe, 2004" ） 一维梯度下降 证明：沿梯度反方向移动自变量可以减小函数值 泰勒展开： $$ f(x+\epsilon)=f(x)+\epsilon f^{\prime}(x)+\mathcal{O}\left(\epsilon^{2}\rig 阅读全文
摘要：
优化与深度学习 优化与估计 尽管优化方法可以最小化深度学习中的损失函数值，但本质上优化方法达到的目标与深度学习的目标并不相同。 优化方法目标：训练集损失函数值 深度学习目标：测试集损失函数值（泛化性） 优化在深度学习中的挑战 1. 局部最小值 2. 鞍点 3. 梯度消失 局部最小值 $$ f(x) 阅读全文
摘要：
批量归一化 "1.基本概念" "2.代码实现" 1.基本概念 对输入的标准化（浅层模型） 处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。 标准化处理输入数据使各个特征的分布相近 批量归一化（深度模型） 利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的 阅读全文