摘要： 在我们遇到核函数之前，如果用原始的方法，那么在用线性学习器学习一个非线性关系，需要选择一个非线性特征集，并且将数据写成新的表达形式，这等价于应用一个固定的非线性映射，将数据映射到特征空间，在特征空间中使用线性学习器。 笔记from: http://blog.csdn.net/v_july_v/art 阅读全文

摘要： 具有单隐层的前馈神经网络可以表示任何函数，但是网络参数可能大的不能实现，并且可能无法正确学习和泛化，很多情况下，使用更深的而模型能够减少表示期望函数所需的单元函数，增加拥有激活函数的神经元数目，增加激活函数嵌套的层数并且可以减少泛化误差。 阅读全文

摘要： 1.采用不同的初始值多个不同神经网络，按标注方法训练后，取误差最小的参数，才用不同的初始值以为这从不同的路径进行梯度下降，从而不会陷入特定的局部极小，再在这些值中选择，会选取到更接近全局极小的参数。 2.采用模拟退火，每一步以一定概率接受比当前更差的结果，从而有可能跳出局部极小，但是也有可能跳出全局 阅读全文