摘要：
1、什么是优化器？ pytorch的优化器：管理并更新模型中可学习的参数的值，使得模型输出更接近真实标签 导数： 方向导数 梯度 2、optimizer的属性 defaults：优化器超参数 state：参数的缓存，如momentum的缓存 params_groups：管理的参数组 _step_co 阅读全文
摘要：
一、损失函数概念 损失函数：衡量模型输出与真实标签的差异 损失函数Loss Function ：Loss = f（y^ , y） 代价函数Cost Function：Cost = 1/N ∑ f (y^ , y) 目标函数Objective Function：Obj = Cost + Regular 阅读全文
摘要：
一、梯度消失与爆炸 二、Xavier方法与Kaiming方法 1、Xavier初始化 方差一致性：保持数据尺度维持在恰当范围，通常方差为1 激活函数：饱和函数，如Sigmoid，Tanh 三、常用初始化方法 10种： Xavier均匀分布、正态分布 Kaiming均匀分布、正态分布 均匀分布、正态分 阅读全文