摘要： 什么是卡尔曼滤波 对于这个滤波器，我们几乎可以下这么一个定论：只要是存在不确定信息的动态系统，卡尔曼滤波就可以对系统下一步要做什么做出有根据的推测。即便有噪声信息干扰，卡尔曼滤波通常也能很好的弄清楚究竟发生了什么，找出现象间不易察觉的相关性。 因此卡尔曼滤波非常适合不断变化的系统，它的优点还有内存占 阅读全文

摘要： 层次聚类也叫分层聚类，对数据进行逐层划分，最终形成树状的聚类结构。 数据集的划分可采用 “自顶向下” 的分割策略，也可采用 “自下而上” 的聚合策略。 聚合法-AGNES 算法 采用自下而上的聚合策略，初始每个样本为一个簇，然后每步找到距离最近的两个簇，并将它们融合，依次进行下去，直到所有样本在一个 阅读全文

摘要： 集成学习是如何把多个分类器组合在一起的，不同的集成学习有不同的组合策略，本文做个总结。 平均法 对数值型输出，平均法是最常用的策略，解决回归问题。 简单平均法 【h(x)表示基学习器的输出】 加权平均法 【w是基学习器的权重，w>0】 基学习器的权重一般是根据训练数据得到，所以不完全可靠，对于规模较 阅读全文

摘要： 上篇博客已经讲了梯度提升树，但只讲了回归，本节讲一下分类，和一些进阶方法。 GBDT 分类 其实 GBDT 分类和回归思路基本相同，只是由于分类的标签是离散值，无法拟合误差， 解决办法有两种：一种是用指数损失函数，类似Adaboost，另一种是用类似于逻辑回归的对数似然损失函数，也就是输出类别预测的 阅读全文

摘要： boosting 提升方法实际采用的是加法模型和前向分步算法 【之前在讲 Adaboost 时，讲过这两个算法，参考我的博客】 提升树 boosting tree 以决策树为基学习器的提升方法称为提升树，提升树可以解决分类和回归问题，分类问题以分类树为基学习器，回归问题以回归树为基学习器，决策树均为 阅读全文

摘要： 集成学习被称作机器学习中的屠龙刀，在很多场景下都取得了不错的效果。 集成学习的思想很简单，三个臭皮匠顶个诸葛亮，也就是算法融合，这些算法可以是相同的，也可以是不同的。 集成学习分为两步 1. 先训练一批基分类器 【如果基学习器不同，一般称为个体学习器，意思一样，叫法不同而已】 2. 把这些基分类器组 阅读全文

摘要： adaboost 的思想很简单，算法流程也很简单，但它背后有完整的理论支撑，也有很多扩展。 权重更新 在算法描述中，权重如是更新 其中 wm,i 是m轮样本i的权重，αm是错误率，Øm是第m个基学习器的输出，Zm是归一化因子 当预测值与真实值相同时，yØ=1，-αyØ<0，exp(-αyØ)<1，权 阅读全文

摘要： 场景：程序在后台运行，即关闭终端之后仍然运行 注意，后台执行的程序一定是不结束的程序，如无限循环； 基础命令 & 符号：后台执行程序，需放在命令后面 > 符号：输出重定向到指定文件 方法1 python test111.py & 这样虽然可以实现后台运行，但是在关闭终端时必须用 exit 退出，如果 阅读全文

摘要： 环境 操作系统：centos 设置环境变量 在 linux 中设置环境变量有3种方式： 1. 用于当前终端 2. 用于当前用户 3. 用于所有用户 当前终端 直接在终端 输入 export PATH=$PATH:/home/xxxx 关闭当前终端或者切换到其他终端，此设置失效。 多个路径直接用 ： 阅读全文

摘要： Python 的包管理工具常见的有：easy_install，setuptools，distribute，pip，他们之间的关系如下 python3 已经不支持 setuptools。 pip 是 最常用的包管理工具。 用 pip 安装 python 包需要网络。 pip 安装 方法1 wget h 阅读全文