10 2019 档案
摘要：随机梯度下降法（SGD）是训练深度学习模型最常用的优化方法。在前期文章中我们讲了梯度是如何计算的，主要采用BP算法，或者说利用链式法则。但是深度学习模型是复杂多样的，你不大可能每次都要自己使用链式法则去计算梯度，然后采用硬编程的方式实现。 而目前的深度学习框架其都是实现了自动求梯度的功能，你只关注模
阅读全文
摘要：现代深度学习系统中（比如MXNet， TensorFlow等）都用到了一种技术——自动微分。在此之前，机器学习社区中很少发挥这个利器，一般都是用Backpropagation进行梯度求解，然后进行SGD等进行优化更新。手动实现过backprop算法的同学应该可以体会到其中的复杂性和易错性，一个好的框
阅读全文
摘要：许多初学者觉得深度学习框架抽象，虽然调用了几个函数/方法，计算了几个数学难题，但始终不能理解这些框架的全貌。 为了更好地认识深度学习框架，也为了给一些想要自己亲手搭建深度学习框架的朋友提供一些基础性的指导，日前来自苏黎世联邦理工学院计算机科学系的硕士研究生Gokula Krishnan Santha
阅读全文
摘要：执行 tensorboard --logdir D:/data/log/20191018-162001 查看
阅读全文
摘要：其中mnist.npz文件可以从google下载 https://storage.googleapis.com/tensorflow/tf-keras-datasets/mnist.npz
阅读全文
摘要：pip install tensorflow==2.0.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
阅读全文
摘要：一文弄懂神经网络中的反向传播法——BackPropagationhttps://www.cnblogs.com/charlotte77/p/5629865.html https://www.cnblogs.com/charlotte77/
阅读全文
摘要：相信每一个刚刚入门神经网络（现在叫深度学习）的同学都一定在反向传播的梯度推导那里被折磨了半天。在各种机器学习的课上明明听得非常明白，神经网络无非就是正向算一遍Loss，反向算一下每个参数的梯度，然后大家按照梯度更新就好了。问题是梯度到底怎么求呢？课上往往举的是标量的例子，可是一到你做作业的时候就发现
阅读全文
摘要：如果能二秒内在脑袋里解出下面的问题，本文便结束了。 已知：，其中。 求：，，。 到这里，请耐心看完下面的公式推导，无需长久心里建设。 首先，反向传播的数学原理是“求导的链式法则” : 设和为的可导函数，则。 接下来介绍 矩阵、向量求导的维数相容原则 利用维数相容原则快速推导反向传播 编程实现前向传播
阅读全文
摘要：本打算把梯度放在神经网络来讲，学习机器学习实战时发现用到梯度下降最优算法，所以就把这个知识点深入讲一下，等后面实战到神经网络时，直接复制这里的，这次讲解会深入讲解，简明易懂是目的，虽然网上都有各种画图说明，但是还是不容易理解，本讲解一定会让大家理解的，讲解主要从问题出发，从简单的内容开始，这需要你对
阅读全文
