2019年6月26日
机器学习之集成学习（三）
摘要： 1.RF和bagging的联系 RF是对bagging的进化版，首先都是有放回的进行采样，获得n个训练集从而训练n个弱分类器，但是RF在随机选取的训练集的基础上对于特征的选择也是随机的，随机的选取一部分的特征进行弱分类器的构建，同时在划分建树的过程中也是从这些随机选取的部分特征中选择最优的特征。 2 阅读全文
posted @ 2019-06-26 20:42 喂你在哪 阅读(335) 评论(0) 推荐(0) 编辑
机器学习之集成学习（二）
摘要： 1.随机森林（RF） RF是对bagging的进化版，首先都是有放回的进行采样，获得n个训练集从而训练n个弱分类器，但是RF在随机选取的训练集的基础上对于特征的选择也是随机的，随机的选取一部分的特征进行弱分类器的构建，同时在划分建树的过程中也是从这些随机选取的部分特征中选择最优的特征。(使用的为同质 阅读全文
posted @ 2019-06-26 20:18 喂你在哪 阅读(246) 评论(0) 推荐(0) 编辑
2019年6月25日
机器学习之集成学习（一）
摘要： 详细参考：https://www.cnblogs.com/pinard/p/6131423.html 首先明确集成学习它本身不是一个单独的机器学习算法，而是通过构建并结合多个机器学习器来完成学习任务。 集成学习有两个主要的问题需要解决，第一是如何得到若干个个体学习器，第二是如何选择一种结合策略，将这 阅读全文
posted @ 2019-06-25 23:35 喂你在哪 阅读(434) 评论(0) 推荐(0) 编辑
机器学习之树模型
摘要： 树模型主要有ID3、C4.5、C5.0、OC1以及CART等，使用最多的树模型为CART，sklearn中的决策树模型是基于CART的。 在介绍树模型之前先介绍一下信息熵、信息增益以及GINi系数。 信息熵：熵度量了事物的不确定性，越不确定的事物，它的熵就越大。 信息增益：它度量了在知道当前特征之后 阅读全文
posted @ 2019-06-25 19:58 喂你在哪 阅读(402) 评论(0) 推荐(0) 编辑
2019年6月24日
神经网络模型压缩和加速之知识蒸馏
摘要： 深度神经网络模型压缩和加速方法 综合现有的深度模型压缩方法，它们主要分为四类： 1、参数修剪和共享（parameter pruning and sharing） 2、低秩因子分解（low-rank factorization） 3、转移/紧凑卷积滤波器（transferred/compact con 阅读全文
posted @ 2019-06-24 21:04 喂你在哪 阅读(2640) 评论(0) 推荐(0) 编辑
2019年6月23日
机器学习之感知器和线性回归、逻辑回归以及SVM的相互对比
摘要： 线性回归是回归模型 感知器、逻辑回归以及SVM是分类模型 线性回归：f(x)=wx+b 感知器：f(x)=sign(wx+b)其中sign是个符号函数，若wx+b>=0取+1，若wx+b<0取-1 它的学习策略是最小化误分类点到超平面的距离， 逻辑回归：f(x)=sigmoid(wx+b)取值范围在 阅读全文
posted @ 2019-06-23 15:30 喂你在哪 阅读(1742) 评论(0) 推荐(0) 编辑
机器学习之线性回归以及Logistic回归
摘要： 1、线性回归 回归的目的是预测数值型数据的目标值。目标值的计算是通过一个线性方程得到的，这个方程称为回归方程，各未知量（特征）前的系数为回归系数，求这些系数的过程就是回归。 对于普通线性回归使用的损失函数一般为平方误差。把其用最小二乘法进行优化得到的关于系数w求导所得到的矩阵形式的表达式求得的w便为 阅读全文
posted @ 2019-06-23 15:16 喂你在哪 阅读(744) 评论(0) 推荐(0) 编辑
2019年6月22日
机器学习之支持向量机（SVM）
摘要： SVM数学知识具体参考： https://blog.csdn.net/zhangping1987/article/details/21931663 数学知识补充 对于线性可分的超平面 既然能线性可分，那么就有超平面(向量化表示)将这数据集分开，使得一侧是“+1”类，另一侧是“-1类”。 第一个知识点 阅读全文
posted @ 2019-06-22 13:50 喂你在哪 阅读(356) 评论(0) 推荐(0) 编辑
机器学习之朴素贝叶斯
摘要： 参考：https://www.cnblogs.com/pinard/p/6069267.html 以及：https://blog.csdn.net/qq_32690999/article/details/78737393 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集 阅读全文
posted @ 2019-06-22 13:24 喂你在哪 阅读(178) 评论(0) 推荐(0) 编辑
机器学习之KNN
摘要： KNN做回归和分类的主要区别在于最后做预测时候的决策方式不同。KNN做分类预测时，一般是选择多数表决法，即训练集里和预测的样本特征最近的K个样本，预测为里面有最多类别数的类别。而KNN做回归时，一般是选择平均法，即最近的K个样本的样本输出的平均值作为回归预测值。 KNN的三要素：k值的选取，距离度量 阅读全文
posted @ 2019-06-22 12:51 喂你在哪 阅读(188) 评论(0) 推荐(0) 编辑