摘要： 最近Deep Learning特别火，但是发现网上很少有专门针对DL讨论的论坛等，所以交流起来特别不方便。独学而无友，则孤陋而寡闻，本人刚开始接触DL，菜鸟一枚，希望和各位志同道合的朋友多多交流，特建立了一个Deep Learning高质量交流qq群，欢迎加入，群号为：209306058（大家加入群时需验证，请用一句话简单说下你对DL的认识，以防乱加，哈哈，谢谢！） 规定（必须执行） 1. 杜绝不文明言论 2. 严禁广告 3. 严禁跑题 引导（参考执行） 1. 群中讨论的内容 为了保证群内交流的质量请大家尽量讨论Deep Learning为主的算法，以及与其相关的ML,DM,... 阅读全文

摘要： 内容： 本文主要是参考论文：On optimization methods for deep learning，文章内容主要是笔记SGD（随机梯度下降），LBFGS（受限的BFGS），CG（共轭梯度法）三种常见优化算法的在deep learning体系中的性能。下面是一些读完的笔记。 SGD优点：实现简单，当训练样本足够多时优化速度非常快。 SGD缺点：需要人为调整很多参数，比如学习率，收敛准则等。另外，它是序列的方法，不利于GPU并行或分布式处理。 各种deep learning中常见方法（比如说Autoencoder，RBM，DBN，ICA，Sparse coding）的区别是... 阅读全文