摘要：
之前的笔记，算不上是 Deep Learning，只是为理解Deep Learning 而需要学习的基础知识，从下面开始，我会把我学习UFDL的笔记写出来#主要是给自己用的，所以其他人不一定看得懂#UFDL链接 ：http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial自编码器（ Autoencoders ）：（概述）自编码器是只有一层隐藏节点，输入和输出具有相同节点数的神经网络。自编码器的目的是求的函数. 也就是希望是的神经网络的输出与输入误差尽量少。由于隐藏节点数目小于输入节点，这就表示神经网络需要学习到输入样本的特征，以 阅读全文
摘要：
反向传播算法（Back Propagation）：引言：在逻辑回归中，我们使用梯度下降法求参数方程的最优解。这种方法在神经网络中并不能直接使用，因为神经网络有多层参数（最少两层），（？为何不能）这就要求对梯度下降法做少许改进。实现过程：一、正向传播首先，同逻辑回归，我们求出神经网络输出与实际值的“误差”——COST：这里先使用欧式距离而不是索夫曼函数作为输出的cost：展开之后：（注意右边的权重衰减项，既规则化）二、反向传播对于第层（输出层）的每个输出单元，我们根据以下公式计算残差：对的各个层，第层的第个节点的残差计算方法如下这里：这里相当于把本层节点的残差按照权重“投影”到上一层残差的节点上 阅读全文