Lauen_1

摘要： 1.插入排序插入排序时最容易理解的排序方法，个人总结有三个关键点：1. 需要将处理的元素暂时存储起来2. j变量的范围控制3. 插入值与j变量控制范围中元素大小的比较相关代码： 1 //插入排序 2 template void sort(T* array, int n) 3 { 4 for ... 阅读全文

摘要： 决策树（decision tree）是一种基本的分类与回归方法。 决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。 它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其 主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。 预测时，对新的数据，利用决策树模型进行分类... 阅读全文

摘要： 提升树是以分类树或回归树为基本分类器的提升方法 提升树被认为是统计学习中性能最好的方法之一 提升方法实际采用加法模型（基函数的线性组合）与前向分步算法 以决策树为基函数的提升方法称为提升树 对分类问题决策树是二叉分类树 对回归问题决策树是二叉回归树 提升树模型可以表示为决策树的加法模型： T(x;Θm)表示决策树； Θm为决策树的参数；... 阅读全文

摘要： 提升方法的基本思路 在概率近似正确（probably approximately correct，PAC）学习的框架中， 一个概念（一个类），如果存在一个多项式的学习算法能够学习它，并且正确率很高，那么就称这个概念是强可学习的； 一个概念，如果存在一个多项式的学习算法能够学习它，学习的正确率仅比随机猜测略好，那么就称这个概念是弱可学习的。 Schapire后来证明强可学习... 阅读全文

摘要： logistic distribution 设X是连续随机变量，X服从逻辑斯谛分布是指X具有下列分布函数和密度函数： 式中，μ为位置参数，γ>0为形状参数。 密度函数是脉冲函数 分布函数是一条Sigmoid曲线(sigmoid curve)即为阶跃函数 二项逻辑斯谛回归模型 二项逻辑斯谛回归模型是如下的条件概率分布 x∊Rn是输入，Y... 阅读全文

摘要： k近邻法（k-nearest neighbor，k-NN） 输入：实例的特征向量，对应于特征空间的点；输出：实例的类别，可以取多类。 分类时，根据其k个最近邻的训练实例的类别，通过多数表决等方式进行预测。 实例类别已定，不具有显式的学习过程。k近邻法实际上利用训练数据集对特征 向量空间进行划分，并作为其分类的"模型"。 三个基本要素：k值的选择、距离度量及分类决策规则。 KDtree 实现k近... 阅读全文

摘要： 损失函数和风险函数 损失函数（loss function），代价函数（cost function） 用来度量预测错误的程度。常用的如下： 0-1损失函数（0-1 loss function） 平方损失函数（quadratic loss function） 绝对损失函数（absolute loss function） 对数损失函数（logarithmic ... 阅读全文

摘要： 、 朴素贝叶斯算法 输入：训练数据T＝{(x1，y1),(x2,y2),…,(xN,yN)}， 输出：X的分类 计算先验概率及条件概率 计算朴素贝叶斯概率 选择概率最大的类 拉普拉斯平滑（Laplace smoothing） 朴素贝叶斯两大假设 条件独立假设用于分类的特... 阅读全文

摘要： 感知机 假设：输入空间是 x⊆Rn 输出空间是 y＝{+1,-1} 由如下2.1函数进行分类称之为感知器 其中，w为权值向量，b为偏置 sign(.)是符号函数，记为如下所示： 感知机是一种线性分类模型，属于判别模型。 感知机模型的假设空间是定义在特征空间中的 所有线性分类模型（linear classification model）或 线性分类器(linear classi... 阅读全文

摘要： 先把东西转载下，明天继续测试shutil.copyfile( src, dst)从源src复制到dst中去。当然前提是目标地址是具备可写权限。抛出的异常信息为IOException. 如果当前的dst已存在的话就会被覆盖掉shutil.move( src, dst)移动文件或重命名shutil.co... 阅读全文