摘要:
写作目的:旨在将所有深度学习相关的东西进行一个总结,把能想到的东西先写下来,完了之后再进行调序。 专题一:多层感知机(传统概念的神经网络) 专题二:什么是卷积神经网络(CNN), 循环神经网络(RNN) 专题三:如何优化参数(需要定义损失函数,有哪些损失函数?怎么优化?) 专题四:计算机视觉(low 阅读全文
摘要:
深度学习中定义的损失函数基本上都是极度非凸的函数,仅使用梯度下降法(SGD)很容易陷入局部最优解,本系列打算讲解以下方法: 1、SGD (On the importance of initialization and momentum in deep learning) 2、momentum 3、N 阅读全文