摘要： Contractive autoencoder是autoencoder的一个变种，其实就是在autoencoder上加入了一个规则项，它简称CAE（对应中文翻译为？）。通常情况下，对权值进行惩罚后的autoencoder数学表达形式为： 这是直接对W的值进行惩罚的，而今天要讲的CAE其数学表达式同样非常简单，如下： 其中的是隐含层输出值关于权重的雅克比矩阵，而 表示的是该雅克比矩阵的F范数的平方，即雅克比矩阵中每个元素求平方 然后求和，更具体的数学表达式为： 关于雅克比矩阵的介绍可参考雅克比矩阵&行列式——单纯的矩阵和算子，关于F范数可参考我前面的博文Sparse ... 阅读全文