摘要：
决策树是多叉树，决策树是彼此互斥且完备的一系列的if then规则。 决策树还可以看成给定条件下类的条件概率分布，每条路径对应于划分中的一个单元。 决策树的损失函数通常是正则化的极大似然函数。 决策树的核心算法就是对可能的决策树空间进行自上而下的贪心搜索。 特征选择，怎么选特征 ： 熵的解释：信息论 阅读全文
摘要：
k近邻法，简要说就是 近朱者是赤的，近墨者是黑的 如何定义近邻？ 距离度量 欧式距离 曼哈顿距离 切比雪夫距离 闵可夫斯基距离 标准化欧氏距离 马氏距离 夹角余弦 汉明距离 杰卡德距离、杰卡德相似系数 相关系数、相关距离 信息熵 详见 "机器学习中的相似性度量" k如何选取？ 交叉验证，取效果最佳的 阅读全文
摘要：
11. 马尔科夫链 $X_0,X_1,...,X_n$，$n$表示时间，如果$X_0, ...X_n$都是独立的，那么这个假设限制性太大，不能对现实世界建模。而如果$X_0, ...X_n$彼此可以任意交互影响，那么模型太难计算。马尔科夫链是单步影响（one step dependence）的序列， 阅读全文
摘要：
编码问题，如何把语言及生活中的符号编码成计算机中的二进制表示出来。其中涉及到码表(code point)和编码方式。 码表就是字符与序号对应的表。例如Unicode和ASCII码就是码表。 编码方式就是怎么把序号编码成二进制的方式。UTF 8就是编码方式。 从码表转换到字节，就是编码(encodin 阅读全文
摘要：
看李航老师《统计学习方法》这本书，第12页举了一个多项式拟合的问题，自己怎么都推导不出来，上网查发现书上有误。 拟合问题描述如下： 书上的推导就不贴了。 正确推导在 "知乎" 上有具体解答： W 即通过求解 方程得到 上面方程矩阵展开如下： 按照这个思路的python代码实现如下： 绘图结果如下： 阅读全文