03 2015 档案

cnn为什么会不存在vanishing gradient的问题
摘要：之前神经网络火过一段时间，但是后来又淡出了，后来又火了，尤其是到2012年真的像发水一样。之前为什么不火了呢，因为人们发现网络浅了吧，没什么优势。网络深了吧，又会出现vanishing gradient，无法训练。看文章也没看到有特别提到为什么现在又能训练了。调研了一下，是因为几个原因吧。1. 现在... 阅读全文
posted @ 2015-03-25 13:14 deeplearner_allen 阅读(973) 评论(0) 推荐(0) 编辑
CNN训练中的技巧
摘要：转自：http://weibo.com/p/1001603816330729006673说明：这个翻译应该是来自原文：http://yyue.blogspot.hk/2015/01/a-brief-overview-of-deep-learning.html翻译网上的哈，我觉得有很大一部分从没看到过... 阅读全文
posted @ 2015-03-18 09:28 deeplearner_allen 阅读(2596) 评论(0) 推荐(0) 编辑
cnn中的fp和bp推导
摘要：昨天下午在单位从新推导了一遍fp和bp。在整个网络的训练中，最关键的就是计算残差。最后一层残差很容易，那么前面每一层的残差怎么计算呢？总体来说，有多少权重就需要多少残差项来进行权重更新。每个权重系数的残差是和后面一层的残差关联的，怎么关联呢？ 阅读全文
posted @ 2015-03-14 13:46 deeplearner_allen 阅读(603) 评论(0) 推荐(0) 编辑
To do list
摘要：1. 从头推导fp和bp2. 从头推导lstm 阅读全文
posted @ 2015-03-13 10:42 deeplearner_allen 阅读(170) 评论(0) 推荐(0) 编辑
rnn,lstm and JuergenSchmidhuber
摘要：JuergenSchmidhuber 是瑞士的一位牛人，主要贡献是rnn, lstm。google的deep mind新作，Human-level control through deep reinforcement learning一文出来，这位大神表达了不满。原因就是文章中提到说他们是第一次实现... 阅读全文
posted @ 2015-03-05 15:23 deeplearner_allen 阅读(867) 评论(0) 推荐(0) 编辑
visual attention
摘要：The visual attention mechanism may have at least the following basic components [Tsotsos, et. al. 1995]:(1) the selection of a region of interest in t... 阅读全文
posted @ 2015-03-03 14:50 deeplearner_allen 阅读(355) 评论(0) 推荐(0) 编辑
rnn,cnn
摘要：http://nikhilbuduma.com/2015/01/11/a-deep-dive-into-recurrent-neural-networks/按照这里的介绍，目前比较火的cnn是feed-forward的网络，而rnn是back projections。lstm则是rnn的一种特例。r... 阅读全文
posted @ 2015-03-03 09:21 deeplearner_allen 阅读(647) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示