摘要： 初始化的目的就是，设置一个很接近0的的值，以方便参数update。 Gaussian 是最先想到的一种可以实现一个很接近0的方法，而且带有较强的随机性，但也具有中央分布的特性。 Xavier 可以认为是Gaussian的一种改进，动态版的Gaussian，Reasonable的初始化，线性激活下Ma 阅读全文

摘要： 使用pooling的目的之一是获取一定的特征不变性，目前用的比较多的是Max..，非线性对于Deep的重要性不用多说,pooling是主要贡献之一，当然少不了relu类的激活函数。pooling还有一个重要的作用是为了保持某种不变性。 pooling有优势必有劣势，邻域大小受限造成的顾及只方差增大， 阅读全文