08 2015 档案

自适应学习率调整：AdaDelta
摘要：Reference：ADADELTA: An Adaptive Learning Rate Method 超参数 超参数（Hyper-Parameter)是困扰神经网络训练的问题之一，因为这些参数不可通过常规方法学习获得。 神经网络经典五大超参数: 学习率(Leraning Rate)、权值初始化( 阅读全文
posted @ 2015-08-29 09:25 Physcal 阅读(54023) 评论(17) 推荐(6) 编辑
神经网络模型算法与生物神经网络的最新联系
摘要：来源 偶然翻了一下微博，发现了@爱可可-爱生活老师转的，Hinton教授今年六月末在剑桥的一个讲座。 视频度娘链接：http://pan.baidu.com/s/1eQjj0rS 整个讲座前半部分基本在回顾DL目前的几个成就：RBM、DNN、CNN、RNN、Dropout 以及在CV、NLP、Spe 阅读全文
posted @ 2015-08-24 23:25 Physcal 阅读(3779) 评论(0) 推荐(1) 编辑
[杂谈]机器学习：数学、概率与人工智能
摘要：机器学习编年史这几年机器学习火热，很大程度上是由于深度学习分支给机器学习送入了大量新鲜活力。统计学家说：“我概率统计理论，我来讲！" （代表 Leonard E. Baum [隐马尔科夫模型])数学家说：“我有严谨数学证明，我来讲！” （代表 Vapnik [SVM支持向量机])神经计算&计算机科学... 阅读全文
posted @ 2015-08-21 20:14 Physcal 阅读(5004) 评论(5) 推荐(2) 编辑
Long-Short Memory Network(LSTM长短期记忆网络)
摘要：自剪枝神经网络 Simple RNN从理论上来看，具有全局记忆能力，因为T时刻，递归隐层一定记录着时序为1的状态 但由于Gradient Vanish问题，T时刻向前反向传播的Gradient在T-10时刻可能就衰减为0。 从Long-Term退化至Short-Term。 尽管ReLU能够在前馈网络 阅读全文
posted @ 2015-08-15 17:08 Physcal 阅读(4865) 评论(0) 推荐(0) 编辑
Recurrent Neural Network(循环神经网络)
摘要：Reference: Alex Graves的[Supervised Sequence Labelling with RecurrentNeural Networks]Alex是RNN最著名变种，LSTM发明者Jürgen Schmidhuber的高徒，现加入University of Toront... 阅读全文
posted @ 2015-08-15 12:49 Physcal 阅读(19251) 评论(2) 推荐(2) 编辑
CUDA程序设计(三)
摘要：算法设计：基数排序CUDA程序里应当尽量避免递归，因而在迭代排序算法里，基数排序通常作为首选。1.1 串行算法实现十进制位的基数排序需要考虑数位对齐问题，比较麻烦。通常实现的是二进制位的基数排序。整体思路：与当前位做AND运算，按照0.....1的顺序重置序列，直到所有位迭代完毕。sort_tmp数... 阅读全文
posted @ 2015-08-08 00:38 Physcal 阅读(2543) 评论(1) 推荐(0) 编辑
CUDA程序设计(二)
摘要：算法设计：直方图统计直方图频数统计，也可以看成一个字典Hash计数。用处不是很多，但是涉及CUDA核心操作：全局内存、共享内存、原子函数。1.1 基本串行算法这只是一个C语言练习题。#define MAXN 1005#define u32 unsigned int__host__ void coun... 阅读全文
posted @ 2015-08-05 17:26 Physcal 阅读(1485) 评论(0) 推荐(0) 编辑