摘要：
numpy.flatnonzero(): 该函数输入一个矩阵，返回扁平化后矩阵中非零元素的位置（index） 这是官方文档给出的用法，非常正规，输入一个矩阵，返回了其中非零元素的位置. 对向量元素的判断d==3返回了一个和向量等长的由0/1组成的矩阵，然后调用函数，返回的位置，就是对应要找的元素的位 阅读全文
摘要：
1、尽量减少值传递，多用引用来传递参数。 2、++i和i++引申出的效率问题，使用++i。 3、避免过大的循环，由计算机的硬件决定的。 4、局部变量VS静态变量，尽量使用局部变量。 5、减少除法运算的使用。 6、多用直接初始化，定义时直接赋值。 阅读全文
摘要：
RF、GBDT和XGBoost都属于集成学习（Ensemble Learning），集成学习的目的是通过结合多个基学习器的预测结果来改善单个学习器的泛化能力和鲁棒性。 根据个体学习器的生成方式，目前的集成学习方法大致分为两大类：即个体学习器之间存在强依赖关系、必须串行生成的序列化方法，以及个体学习器 阅读全文
摘要：
1、Adaboost算法原理，优缺点： 理论上任何学习器都可以用于Adaboost.但一般来说，使用最广泛的Adaboost弱学习器是决策树和神经网络。对于决策树，Adaboost分类用了CART分类树，而Adaboost回归用了CART回归树。 Adaboost算法可以简述为三个步骤： （1）首先 阅读全文
摘要：
1、什么是随机采样？ Bagging可以简单的理解为：放回抽样，多数表决（分类）或简单平均（回归）； Bagging的弱学习器之间没有boosting那样的联系，不存在强依赖关系，基学习器之间属于并列生成。它的特点在“随机采样”。 随机采样(bootsrap)就是从我们的训练集里面采集固定个数的样本 阅读全文
摘要：
1、什么是回归？ 是一种监督学习方式，用于预测输入变量和输出变量之间的关系，等价于函数拟合，选择一条函数曲线使其更好的拟合已知数据且更好的预测未知数据。 2、线性回归 于一个一般的线性模型而言，其目标就是要建立输入变量和输出变量之间的回归模型。该模型是既是参数的线性组合，同时也是输入变量的线性组合。 阅读全文
摘要：
1、boosting与bagging的概念： （1）bagging：从原始数据中随机抽样得到S个同样大小的数据集，来训练S个基学习器，各学习器之间互不依赖。是一种并行的方法。 各分类器的权重都是相等的。分类结果是用这S个分类器进行分类，选择分类器投票结果中最多的类别作为最后的分类结果。 （抽样方法为 阅读全文
摘要：
逻辑回归常见问题： 1）https://www.cnblogs.com/ModifyRong/p/7739955.html 2）https://www.cnblogs.com/lianyingteng/p/7701801.html 3）LR 推导 （0）推导在笔记上，现在摘取部分要点如下： LR回归 阅读全文
摘要：
1、SVM的原理是什么？ SVM是一种二类分类模型。它的基本模型是在特征空间中寻找间隔最大化的分离超平面的线性分类器。（间隔最大是它有别于感知机） 试图寻找一个超平面来对样本分割，把样本中的正例和反例用超平面分开，并尽可能的使正例和反例之间的间隔最大。 支持向量机的基本思想可以概括为，首先通过非线性 阅读全文
摘要：
0、思想： 对于给定的待分类项x，通过学习到的模型计算后验概率分布，即：在此项出现的条件下各个目标类别出现的概率，将后验概率最大的类作为x所属的类别。后验概率根据贝叶斯定理计算。 关键：为避免贝叶斯定理求解时面临的组合爆炸、样本稀疏问题，引入了条件独立性假设。用于分类的特征在类确定的条件下都是条件独 阅读全文