摘要： BP神经网络基本概念： 1.代价函数：神经网络的训练过程就是通过代价函数最小化(J)拟合出最优参数(weight) 【神经网络的代价函数其实就是一个指标，表明用模型对样本的拟合程度，可以类比成模型的预测值h(x)和样本输出yi的差值的方差(待确定)】 【代价函数最小化可以通过梯度下降法或者反向传播算 阅读全文

摘要： 1.相关概念 神经网络(Neural Network)本质是一个非线性分类器（可以是二分类或多分类），适用于样本特征维度很高，并且非线性可分时。 【神经网络最终输出是一个复杂的非线性预测函数，可视化为高维空间中的一个复杂的非线性边界】 【神经网络的训练过程就是根据输入样本(xi,yi)拟合出权重参数 阅读全文

摘要： 1.hinge function【表示错误分类的函数】 hinge function:(图) 2.Soft-margin SVM【将错误分类加入损失函数】 C：容忍度：可容忍错误分类的程度指标【C越大，可容忍错误分类的程度越高】 【错误分类的样本处于wTX+b=和wTX+b=1之间；表明样本(函数) 阅读全文

摘要： 1.SVM概念（重点：间隔对偶核技巧） SVM：(support vector machine)，支持向量机，也称最大间隔分类器(max margin classifier) 超平面：实现高维空间中样本的线性可分。超平面公式：wTX+b=0。 【SVM实现分类的手段是在特征空间中找到一个超平面。超平 阅读全文

摘要： 降维目的：样本数据为高维数据时，对数据进行降维操作，避免模型出现过拟合。 1.过拟合含义：训练集误差小，验证集误差大。 过拟合三种解决方案：1）增加数据集；2）正则化； 3）降维。 2.高维灾难： 具有高维度特征的数据易导致高维灾难。 高维灾难的几何角度解释： 高维灾难含义：高维数据分布具有稀疏性； 阅读全文