2015年10月6日
ReLU
摘要： 预训练的用处：规则化，防止过拟合；压缩数据，去除冗余；强化特征，减小误差；加快收敛速度。标准的sigmoid输出不具备稀疏性，需要用一些惩罚因子来训练出一大堆接近0的冗余数据来，从而产生稀疏数据，例如L1、L1/L2或Student-t作惩罚因子。因此需要进行无监督的预训练。而ReLU是线性修正，公... 阅读全文
posted @ 2015-10-06 17:53 澄轶 阅读(8470) 评论(0) 推荐(0) 编辑