小恶魔oo

摘要： 论文地址： "Deep Sparse Rectifier Neural Networks" ReLU的好处 1. 增加了网络的稀疏性，而稀疏性被证明对网络的表达有好处。 如何善用ReLU 1. rectifying activation allows deep networks to achieve 阅读全文

摘要： 学习到的点 1. 梯度消失原来和饱和线性激活函数有一定关系。设$sigmoid(W X+b)$为一个神经元的函数关系。当更新梯度时，$W=W lr \frac {\partial sigmoid} {\partial W} = W lr (W^{'} X)$，当X很大时候，$W^{'}|_{X很大} 阅读全文

摘要： [TOC] ## 朴素贝叶斯 ### Q1：朴素贝叶斯是用来干什么的？ 朴素贝叶斯是一种实现 **分类** 的方法。用来从数据中学习预测模型，对新样本进行类别预测。 给定一个训练集 $T=\{(\vec x_{1}, y_{1}), (\vec x_{2}, y_{2}), ..., (\vec x 阅读全文

摘要： 资料：deep learning 花书 学习内容：第二章 线性代数 start learning Inspiration1： Inspiration2： SVD操作（实际上不是降维，是减少了信息冗余(压缩)，因为最后的得到矩阵大小和原矩阵大小相同，称为张成矩阵） Inspiration3： 两个矩阵 阅读全文

摘要： 这里用于在时间线上记录学习笔记 ———o———————o——————o—————o———— ..... ——    ↓        ↓    &em 阅读全文