Coursera台大机器学习技法课程笔记13-Deep Learning

                  深度学习面临的问题和现在解决的办法：

                

              简要来说，分两步使用DL：初始化时一层一层的选择权重，而后再进行训练：

              

            那么怎么做pre-training，即怎么选择权重呢？好的权重能够不改变原有资料的信息，即编码过后信息够解码过后仍能保持

           

          用类神经网络做如下：

         

               这样做的原因就是，能找到一个好的特征转换：找到隐藏的资料结构，学到数据典型的表现形式

              

             在层与层的autoencoder过程中，不需要标签信息：

             

       下面介绍了一个regularization方法：在资料中加入artifical noise（很疯狂的想法）：

       

      上面的autoencoder是非线性的，下面介绍一个线性的模型，实际上就是PCA算法

      

    对Ein进行优化

    

   继续推导，得到结论：对资料的投影方向，就应该是其最大的几个特征值对应的特征向量的方向

  

           PCA