摘要：
径向基函数网络， RBF network 回忆一下SVM里面的高斯核 radial：描述x与中心点的距离 basis function：用来组合的基本函数 RBFN也是一种NN. RBF网络是对一组RBF的线性组合 RBF也是一种描述相似性的方式，RBFN通过 点与中心的距离（相似性）来做特征转换。 阅读全文
摘要：
一些挑战： 网络结构的选择。CNN的想法是对邻近的输入，有着相同的weight。 模型复杂度。 最优化的初始点选择。pre-training 计算复杂度。 包含pre-training的DL框架 如何做pre-training? 下面介绍了一种方式。 weight可以看做是对x做特征转换，那么希望在 阅读全文
摘要：
介绍神经网络的基本概念以及Backprop的推导。 输入为x, 首先对x做一个线性变换到s，然后对s做（通常是非线性的）变换，作为下一层的输入。如果对s也是线性的，那整个网络就是线性的，就不需要那么多层了。 对 s 经常使用的一个是双曲余弦的变换tanh 在离原点比较远的地方，它比较像阶梯函数，在接 阅读全文