统计学习方法李航学习笔记

零、常见的建模策略：

　　Linear Regression 线性回归

　　Logistic Regression 逻辑回归

　　Ensemble Learning 集成学习（特征工程决定了机器学习的上限，集成学习决定了这个上限的逼近程度）

　　　　bagging：多个分类器结果平均或者投票，rf

　　　　Boosting：Adaboost、GBDT（每一次子模型的生成，都是让残差沿着梯度方向减少）

　　　　Stacking：将多个分类器结果作为X变量，再训练后作为最终预测模型，

　　　　优点：模型更稳定

　　Deep Learing 深度学习 RNN、GNN

监督学习三板斧：目标、损失函数、参数估计

一、决策树

1、决策树是一种基本的分类与回归方法，本文主要讨轮用于分类的决策树，决策树模型呈现树形结构，在分类问题中，表示基于特征对实例进行分类的过程，

学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型

预测时，对新的数据，利用决策树模型进行分类，

决策树学习通常分为3个步骤：特征选择、决策树的生成和决策树的修剪，

2、特征选择：

特征选择在于选取对训练数据具有分类能力的特征，这样可以提高决策树学习的效率，

选择的准则是信息增益或信息增益比

信息熵：

经验熵：类别/D 

 二、随机森林：

bagging ensemble

子模型 很多课决策树，每个子模型有同样的权重

为了鼓励子模型的差异，可以随机选择特征子集和训练样本子集建模

优势：能在特征完整的情况下建模

能够处理高纬特征，不用做特征选择

劣势：有些子模型会比其他子模型更有效，这里并没有体现

 

三、梯度提升回归树 GBDT

GBDT（gradient boosting regression tree ）,是一种迭代的梯度提升回归树算法，该算法由多颗回归树组成，所有树的结论累加起来做最终答案

用递增的方式建立子模型，每个新的模型的建立是为了使得之前模型的残差往梯度方向减少（原始boosting方法：增加分错的点的权重，减少分对的点的权重）

优势：

可以使用其来自动发现有效的特征，特征组合，来作为stacking(LR)模型中的弱分类器

特征的分布和取值无特殊要求

 

重要参数：

tree-specific parameters

　　max-depth

　　min_samples_splits

boosting parameters

　　learning_rate

　　n_estimators 子模型的个数

四、隐马尔可夫模型：隐藏的 马尔可夫链 随机 生成序列

　　隐马尔可夫模型是可用于标注问题的统计学习模型，描述由隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型。 首先叙述HMM模型的基本概念，然后分别叙述HMM的概率计算，学习算法以及预测算法。HMM在语音识别、自然语言处理、生物信息、模式识别等领域有着广泛的应用

　　隐马尔可夫模型可以用于标注，这时状态对应着标记.标注问题是给定对应观测的序列预测其对应的标记序列.可以假设标记问题的数据是由隐马尔可夫模型生成的。这样可以利用隐马尔科夫模型的学习与预测算法进行标注。

 

二、条件随机场

　　条件随机场（CRF）是给定一组输入随机变量条件下，另一组随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔科夫随机场，条件随机场可以用于不同的预测问题，下面主要讨论在标注问题的应用，这时，问题变成了由输入序列对输出序列的判别模型，形式是对数线性模型、其学习方法通常是极大似然估计及正则化的极大似然估计

　　条件随机场的三个基本问题：概率计算问题、学习问题、预测问题

　　字面理解：随机场，是指随机变量，条件，是指在给定一组输入随机变量作为条件，输出变量的条件概率分布模型