论文笔记(2)-Dropout-Regularization of Neural Networks using DropConnect
摘要：
这篇paper使用DropConnect来规则化神经网络。dropconnect和dropout的区别如下图所示。dropout是随机吧隐含层的输出清空，而dropconnect是input unit到hidden unit输入权值以1-p的概率清0dropout的关键公式，其中m是size为d的列向量格式如下[0 0 1 0 0 0 1 1 ]T .这样的话就把隐层到输出层以一定的概率清空，概率一般为0.5dropconnect的关键公式，其中M和上面的m一个含义。这个就是说从输入层到隐层就要有一定的概率来清空。dropconnect的算法流程如下，和普通的算法不同的地方就是随机sample 阅读全文
posted @ 2014-01-28 23:03 alexanderkun 阅读(1992) 评论(0) 推荐(0) 编辑
