摘要：
有了前面的正向结构和损失函数后，就是通过优化函数来优化学习参数了，在反向传播中完成。反向传播过程就是沿着正向传播的结构向相反的方向将误差传递过去。涉及到的技术有，L1、L2正则化，冲量调节、学习率自适应、adm随机梯度下降算法等等。（记住常用的几个就好） 阅读全文
摘要：
1、定义正向传播模型，也就是我们常说的各种神经网络，比如vgg、resnet等等。 2、定义损失函数，损失函数是正向传播中的输出值与目标值之间的误差，是配合反向传播使用的，损失函数几年来基本没有变化。 阅读全文
摘要：
学习参数的定义与输入的定义很像，分为直接定义和字典定义两种方法，如果参数过多的话，那么便会采用第二种定义。 直接定义： 通过字典类型定义“学习参数”： 阅读全文
摘要：
定义tensorflow的输入节点： tensorflow的输入节点定义方式基本上有三种，分别是：通过占位符定义、通过字典类型定义、直接定义。其中最常用的就是通过占位符定义、通过字典类型定义。这两种的区别在于当输入比较多的时候一般使用字典类型定义。下面通过代码来进行详细的解释： 通过占位符来进行定义 阅读全文