摘要： 1. 贝叶斯网络 贝叶斯网络(Bayesian network)，又称信念网络(Belief Network)，或有向无环图模型。它用网络结构代表领域的基本因果知识。 贝叶斯网络中的节点表示命题（或随机变量），认为有依赖关系（或非条件独立）的命题用箭... 阅读全文

摘要： 1. 贝叶斯法则 先举个例子：比如事件X是努力，事件Y是成功，能成功的基本都努力了（条件Ｙ成立时，Ｘ必然成立）；但是努力不一定都能成功（条件X成立时，Y不是一定成立）。也就是说，X与Y之间的关系不对等，但X和Y又确实有关系。贝叶斯法则就是用来描述这种关... 阅读全文

摘要： 本想把PCA和SVD写在一起，可上篇PCA还没写清楚就已经4页word了。再把SVD和特征工程的内容加上，实在是太长了，一下说太多也记不住，于是重开一篇。 SVD用到的原理和 PCA非常相似，就不再此赘述了，如果对特征值、特征向量相关问题不清楚请参见前... 阅读全文

摘要： 有时我们的数据中包括很多属性，有些是没意义的，有些是重复的，有些组合后意义更明显。此时，我们需要简化属性节约算力，去噪，去冗余，求取更典型的属性，同时又希望不损失数据本身的意义。 主成分分析（Principal Component Analysis，P... 阅读全文

摘要： 本篇的主题是分段线性拟合，也叫回归树，是一种集成算法，它同时使用了决策和线性回归的原理，其中有两点不太容易理解，一个是决策树中熵的概念，一个是线性拟合时求参数的公式为什么是由矩阵乘法实现的。如需详解，请见前篇： 《机器学习_决策树与信息熵》 《机器学习... 阅读全文

摘要： 1. 线性回归 线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。 直观地说，在二维情况下，已知一些点的X,Y坐标，统计条件X与结果Y的关系，画一条直线，让直线离所有点都尽量地近（距离之和最小），用直线... 阅读全文

摘要： 1. 决策树 决策树(Decision Tree）是一种预测模型；它是通过一系列的判断达到决策的方法。下面是一个判断是否买房的例子，一共15个实例，有Age, Has_job, Own_house, Credit_rating四个属性，树的各个分叉是对... 阅读全文

摘要： 1. 马尔可夫链 马尔可夫链是满足马尔可夫性质的随机过程。马尔可夫性质是无记忆性。 也就是说，这一时刻的状态，受且只受前一时刻的影响，而不受更往前时刻的状态的影响。我们下面说的隐藏状态序列就马尔可夫链。 2. 隐马尔可夫模型 隐马尔可夫模型（H... 阅读全文

摘要： 为什么使用集成算法 简单算法一般复杂度低，速度快，易展示结果，但预测效果往往不是特别好。每种算法好像一种专家，集成就是把简单的算法（后文称基算法/基模型）组织起来，即多个专家共同决定结果。 如何组织算法和数据 这里我们的着眼点不是某个算法，某个函... 阅读全文

摘要： 在学习了一些数据挖掘和机器学习的算法之后，需要积累实际开发经验。在实践的过程中不仅需要自己摸索，还需要向牛人学习和请教。Kaggle就提供这样的数据平台，企业或者研究者可以将数据、问题描述、期望的指标发布到Kaggle上，开发者其数据下载到本地，分析，处... 阅读全文