摘要：
学习率基础[1] 学习率（Learning Rate）在优化算法，尤其是梯度下降和其变体中，扮演着至关重要的角色。它影响着模型训练的速度和稳定性，并且是实现模型优化的关键参数之一。 如何理解呢？ 在统计学中，线性方程的优化过程通常包括以下步骤： 构建方程：定义一个模型，例如线性方程 (y = wx 阅读全文
摘要：
深度学习基础理论————"优化"方法(归一化/dropout) 1、归一化方法（LayerNorm/BatchNorm/GroupNorm） 归一化层是深度神经网络体系结构中的关键，在训练过程中确保各层的输入分布一致，这对于高效和稳定的学习至关重要。归一化技术的选择（Batch, Layer, Gr 阅读全文