神经网络的数值归一化(吴恩达)
图表为损失函数的等高线图
当数据未进行归一化时:不同权重参数的比例十分之大,不同点的梯度下降的过程精确度不尽相同,所以必须减小学习步长,因此学习时长变长
当数据归一化时:权重参数的比例相近,不同点的梯度下降精确度近似,所以可以放心加大学习步长,进而减小
图表为损失函数的等高线图
当数据未进行归一化时:不同权重参数的比例十分之大,不同点的梯度下降的过程精确度不尽相同,所以必须减小学习步长,因此学习时长变长
当数据归一化时:权重参数的比例相近,不同点的梯度下降精确度近似,所以可以放心加大学习步长,进而减小