随笔分类 - 算法
sklearn：随机森林_回归树_波士顿房价_填补缺失值
摘要：分类树和回归树参数差别： criterion 分类：使用信息增益， 回归： 均方误差MSE，使用均值。mse是父节点与叶子节点之间的均方误差，用来选择特征。同时也是用于衡量模型质量的指标。均方误差是正的，但是sklearn中的均方误差是负数。 绝对误差mae，使用中值。 注意：回归树的接口score
阅读全文
sklearn：随机森林_分类器_红酒数据集
摘要：from sklearn.datasets import load_wine from sklearn.ensemble import RandomForestClassifier from sklearn.tree import DecisionTreeClassifier from sklear
阅读全文
sklearn：决策分类树_泰坦尼克号_网格扫描
摘要：import pandas as pd from sklearn.tree import DecisionTreeClassifier import matplotlib.pyplot as plt from sklearn.model_selection import GridSearchCV #
阅读全文
sklearn：决策分类树_红酒数据集
摘要：from sklearn import tree from sklearn.datasets import load_wine # 红酒数据 from sklearn.model_selection import train_test_split wine = load_wine() # 导入数据
阅读全文
svm支持向量机理解
摘要：1、优点： * 因为是凸优化，所以求得的解一定是全局最优解 * 适用于线性和非线性问题 * 高维数据也适用，因为只取决于向量而非数据维度 * 理论基础比较完善，不像神经网络很像黑盒。 2、缺点： * 只适用于二分类问题。当然也可以通过组合多个svm来处理多分类问题。 * 二次规划问题求解会涉及m阶矩
阅读全文
感知机的梯度推导
摘要：一、单层感知机（Perceptron） 1、定义：多个输入直接加权求和后，得到一个输出节点，经过激活函数，得到一个值 2、单层感知机求导 导数结果，只与激活函数 O0 和 输入节点 xj 有关 3、pytorch中实现单层感知机 二、多层感知机 多层感知机求导： 多层感知机pytorch的实现：
阅读全文
激活函数与Loss的梯度
摘要：一、梯度 1、导数、偏微分、梯度的区别： 1）导数：是标量，是在某一方向上变化的效率 2）偏微分，partial derivate：特殊的导数，也是标量。函数的自变量的方向，函数的自变量越多，偏微分就越多。 3）梯度，gradient：把所有的偏微分集合成向量，是向量。 梯度向量的长度代表函数在当前
阅读全文
决策树基本原理
摘要：决策树的几个常用算法：ID3, C4.5和CART算法 原理： 要对数据进行分类，涉及到通过选取什么样的特征对数据进行分类，比如将柚子和西瓜进行分类，可以选取（大小、颜色、甜度等特征） 决策树的功能就是判断使用哪个特征，然后选取他认为最好的特征对数据进行分类。 那么他是如何选取最好的特征呢？ 对于I
阅读全文
k-最近邻算法基本原理
摘要：原理： 1、将未知数据与所有已知数据计算距离 2、取前k个距离最短的数据 3、统计前k个数据的类别个数 4、类别个数最多的为当前未知数据的分类。 举例说明： 1、如图所示，若k=3 2、分别计算到每个点的距离，取最近的3个点 3、分别统计3个点类别的个数，可以看到三角形2个，方形1个 4、取3个中，
阅读全文