摘要：神经网络训练不起来怎么办（5）：批次标准化（Batch Normalization）简介_哔哩哔哩_bilibili Task3：《深度学习详解》- 3.7 批量归一化 - **产生不好训练的误差表面的原因**：输入特征不同维度的值范围差距大可能导致误差表面不好训练，如输入值小对损失影响小，输入值大 阅读全文

摘要：Task2.1：《深度学习详解》- 3.3&4&5 自适应学习率的概念和方法，包括AdaGrad、RMSProp和Adam等优化器。 - **训练网络时的梯度和损失变化**：训练网络时损失可能不再下降，但梯度范数不一定小，梯度可能在山谷壁间“震荡”，多数训练未到临界点就停止。- **不同学习率的影响 阅读全文

摘要：《深度学习详解》3.2节中关于批量和动量的主要内容总结： 批量的概念：在深度学习训练过程中，数据不是一次性全部用于计算梯度，而是被分成多个小批量（batch），每个批量包含一定数量的数据。每个批量的损失函数用于计算梯度并更新模型参数。 批量大小对梯度下降法的影响： 两种极端情况： 批量梯度下降法（B 阅读全文