摘要：
对输入数据，维度为2时，想要把数据降维1维： 数据的主方向就是旋转数据的第一维。因此，若想把这数据降到一维，可令： 数据已经进行预处理（零均值），使得每个特征和具有相同的均值和方差。 PCA算法将寻找一个低维空间来投影我们的数据。从下图中可以看出，是数据变化的主方向，而 是次方向。 为更形式化地找出 阅读全文
摘要：
反向传播是为了更新参数，参数更新要用代价函数对参数求导，但是参数可能是经过很多层间接作用到最后一层的输出上的。 所以用先计算每层输入对最后代价函数的影响， 最后对参数的更新就可以表示为代价函数对每层的影响残差 (代价函数每一层的输入求偏导)再链式乘上输入对参数求偏导。最后参数的更新值就变为:每层的残 阅读全文
摘要：
1.Why 激活函数的作用: 用来加入非线性因素的，因为线性模型的表达能力不够。 如下一个单层感知机： <img src="https://pic2.zhimg.com/2e83b4403f21654cd9147f13ecfaf7 阅读全文