摘要： 算法概述 随机森林，顾名思义就是由很多决策树融合在一起的算法，它属于Bagging框架的一种算法。 随机森林的“森林”，它的弱模型是由决策树算法训练的（CART算法），CART算法即能做回归也能做分类，“随机”是指构造的模型有一定的随机性。 每一颗决策树模型的训练是通过自助采样法（Boostrap抽 阅读全文

摘要： 模型融合算法概念 它不是具体的指某一个算法，而是一种把多个弱模型融合合并在一起变成一个强模型的思想 用模型融合算法的原因 1、单个模型容易过拟合，多个模型融合可以提高范化能力 2、单个模型预测能力不高，多个模型往往能提高预测能力 3、对于数据集过大或过小，可以分别进行划分和有放回的操作，产生不同的数 阅读全文

摘要： 判别式模型和生成式模型主要区别是他们的构造方法不一样 判别式模型概念：直接基于条件概率来构造P(y|x)，不需要求联合概率，属于此类型的算法有逻辑回归、决策树、KMM、K_meas、SVM 生成式模型概念：基于贝叶斯公式来构造的，需要求联合概率，典型的生成式模型有贝叶斯 阅读全文

摘要： 一、逻辑回归概念 线性回归可以拟合X与Y之间的关系，但回归模型中Y值是连续的，如果换成一个二分类标签，Y只能取两个值0、1，这时候就不能用线性回归了，这样就有了逻辑回归。 针对Y的值域在区间[0-1]的问题，我们不能寻找到一条完美曲线，用于拟合二分类模型，但我们可以寻找一条完美的S型曲线，S型曲线叫 阅读全文

摘要： 回归问题就是拟合输入变量x与数值型的目标变量y之间的关系，而线性回归就是假定了x和y之间的线性关系，公式如下： 如下图所示，我们可以通过绘制绘制（x,y）的散点图的方式来查看x和y之间是否有线性关系，线性回归模型的目标是寻找一条穿过这些散点的直线，让所有的点离直线的距离最短。这条完美直线所对应的参数 阅读全文

摘要： 一、为什么选循环神经网络 传统神经网络，不能解决序列问题，即输入和输出不等长的序列，并且传统神经网络针对的样本间是独立的。 二、循环神经网络 如上图所示，循环神经网络工作过程，X为输入序列，a为输出状态，y为输出序列，循环神经网络能解决输入样本不独立的问题，因为循环神经网络有记忆功能，每次输出会有a 阅读全文

摘要： 一、GoogleNet 1、原理介绍 inception 结构 如下图所示，输入数据经过一分四，然后做一些大小不同的卷积，之后再堆叠feature map inception结构可以理解为把一个输入数据先通过一个1*1的卷积核进行降维然后再通过四个卷积核（分别为1*1，3*3，5*5，maxpool 阅读全文

摘要： 一、图片识别--前馈神经网络 前馈神经网络 要识别上面各图中不同位置的“横折”，必须要用大量物体位于图片的不同位置的数据进行训练，同时增加网络的隐藏层个数从而扩大网络学习这些变体的能力。 然而这样做效率并不高，不管“横折”在哪个位置，都是横折，明明是相同的东西，在不同位置为什么就要重新学习。有没有方 阅读全文

摘要： 一、ID3算法 ID3算法的核心是在决策树各个结点上应用信息增益准则选择特征，递归地构建决策树。具体方法是：从根结点（root node）开始，对结点计算所有可能的特征的信息增益，选择信息增益最大的特征作为结点的特征，由该特征的不同取值建立子结点；再对子结点递归地调用以上方法，构建决策树；直到所有的 阅读全文

摘要： 一、欠拟合 首先欠拟合就是模型没有很好的捕捉到数据特征，不能够很好的拟合数据，如下面的例子： 左图表示size和prize关系的数据，中间的图就是出现欠拟合的的模型，不能够很好的拟合数据，如果在中间的多项式上再加一个二项式，就可以很好的拟合数据了，如右图所示。 解决方法： 1、添加其它的特征项，有时 阅读全文