分类算法
一、数据集介绍与划分
学习目标
- 目标
- 知道数据集的分为训练集和测试集
- 知道sklearn的分类、回归数据集
拿到的数据是否全部都用来训练一个模型？
1、 数据集的划分
机器学习一般的数据集会划分为两个部分：
- 训练数据：用于训练，构建模型
- 测试数据：在模型检验时使用，用于评估模型是否有效
划分比例：
- 训练集：70% 80% 75%
- 测试集：30% 20% 30%
1.1 API
- sklearn.model_selection.train_test_split(arrays, *options)
- x 数据集的特征值
- y 数据集的标签值
- test_size 测试集的大小，一般为float
- random_state 随机数种子,不同的种子会造成不同的随机采样结果。相同的种子采样结果相同。
- return ，测试集特征训练集特征值值，训练标签，测试标签(默认随机取)
结合后面的数据集作介绍
2、sklearn数据集介绍
2.1 API
- sklearn.datasets
- 加载获取流行数据集
- datasets.load_*()
- 获取小规模数据集，数据包含在datasets里
- datasets.fetch_*(data_home=None)
- 获取大规模数据集，需要从网络上下载，函数的第一个参数是data_home，表示数据集下载的目录,默认是 ~/scikit_learn_data/
2.2分类和回归数据集
- 分类数据集
- sklearn.datasets.fetch_20newsgroups(data_home=None,subset=‘train’)
- subset: 'train'或者'test','all'，可选，选择要加载的数据集.训练集的“训练”，测试集的“测试”，两者的“全部”
- 回归数据集
2.3 返回类型
- load和fetch返回的数据类型datasets.base.Bunch(字典格式)
- data：特征数据数组，是 [n_samples * n_features] 的二维 numpy.ndarray 数组
- target：标签数组，是 n_samples 的一维 numpy.ndarray 数组
- DESCR：数据描述
- feature_names：特征名,新闻数据，手写数字、回归数据集没有
- target_names：标签名
二、sklearn转换器和估计器
学习目标
- 目标
- 知道sklearn的转换器和估计器流程
1、转换器和估计器
1.1 转换器
想一下之前做的特征工程的步骤？
- 1、实例化 (实例化的是一个转换器类(Transformer))
- 2、调用fit_transform(对于文档建立分类词频矩阵，不能同时调用)
我们把特征工程的接口称之为转换器，其中转换器调用有这么几种形式
- fit_transform
- fit
- transform
这几个方法之间的区别是什么呢？我们看以下代码就清楚了
In [1]: from sklearn.preprocessing import StandardScaler In [2]: std1 = StandardScaler() In [3]: a = [[1,2,3], [4,5,6]] In [4]: std1.fit_transform(a) Out[4]: array([[-1., -1., -1.], [ 1., 1., 1.]]) In [5]: std2 = StandardScaler() In [6]: std2.fit(a) Out[6]: StandardScaler(copy=True, with_mean=True, with_std=True) In [7]: std2.transform(a) Out[7]: array([[-1., -1., -1.], [ 1., 1., 1.]])
从中可以看出，fit_transform的作用相当于transform加上fit。但是为什么还要提供单独的fit呢, 我们还是使用原来的std2来进行标准化看看
In [8]: b = [[7,8,9], [10, 11, 12]] In [9]: std2.transform(b) Out[9]: array([[3., 3., 3.], [5., 5., 5.]]) In [10]: std2.fit_transform(b) Out[10]: array([[-1., -1., -1.], [ 1., 1., 1.]])
总结：
- Fit(): Method calculates the parameters μ and σ and saves them as internal objects.
解释：简单来说，就是求得训练集X的均值啊，方差啊，最大值啊，最小值啊这些训练集X固有的属性。可以理解为一个训练过程
- Transform(): Method using these calculated parameters apply the transformation to a particular dataset.
解释：在Fit的基础上，进行标准化，降维，归一化等操作（看具体用的是哪个工具，如PCA，StandardScaler等）。
- Fit_transform(): joins the fit() and transform() method for transformation of dataset.
解释：fit_transform是fit和transform的组合，既包括了训练又包含了转换。
transform()和fit_transform()二者的功能都是对数据进行某种统一处理（比如标准化~N(0,1)，将数据缩放(映射)到某个固定区间，归一化，正则化等）
fit_transform(trainData)对部分数据先拟合fit，找到该part的整体指标，如均值、方差、最大值最小值等等（根据具体转换的目的），然后对该trainData进行转换transform，从而实现数据的标准化、归一化等等。
根据对之前部分trainData进行fit的整体指标，对剩余的数据（testData）使用同样的均值、方差、最大最小值等指标进行转换transform(testData)，从而保证train、test处理方式相同。所以，一般都是这么用：
from sklearn.preprocessing import StandardScaler sc = StandardScaler() sc.fit_tranform(X_train) sc.tranform(X_test)
Note:
- 必须先用fit_transform(trainData)，之后再transform(testData)
- 如果直接transform(testData)，程序会报错
- 如果fit_transfrom(trainData)后，使用fit_transform(testData)而不transform(testData)，虽然也能归一化，但是两个结果不是在同一个“标准”下的，具有明显差异。(一定要避免这种情况)
这里解释一下：
以标准化为例，sc.fit_tranform(X_train) 可分为 sc.fit(Xtrain) 和 sc.transform(X_train) 两个过程。
- sc.fit(X_train) 计算得到 mean, std
- sc.transform(X_train) 实现 (x - mean) / std 转化
到此，训练集特征值的标准化完成。
为保证测试集、训练集参数 做相同方式的处理，即 mean, std 不变的情况下，直接调用 sc.transform(X_test) 就可以。
1.2 估计器(sklearn机器学习算法的实现)
在sklearn中，估计器(estimator)是一个重要的角色，是一类实现了算法的API
- 1、用于分类的估计器：
- sklearn.neighbors k-近邻算法
- sklearn.naive_bayes 贝叶斯
- sklearn.linear_model.LogisticRegression 逻辑回归
- sklearn.tree 决策树与随机森林
- 2、用于回归的估计器：
- sklearn.linear_model.LinearRegression 线性回归
- sklearn.linear_model.Ridge 岭回归
- 3、用于无监督学习的估计器
- sklearn.cluster.KMeans 聚类
1.3 估计器工作流程
三、K-近邻算法
学习目标
- 目标
- 说明K-近邻算法的距离公式
- 说明K-近邻算法的超参数K值以及取值问题
- 说明K-近邻算法的优缺点
- 应用KNeighborsClassifier实现分类
- 了解分类算法的评估标准准确率
- 应用
- Facebook签到位置预测
问题：回忆分类问题的判定方法
什么是K-近邻算法
- 你的“邻居”来推断出你的类别
1、K-近邻算法(KNN)
1.1 定义
如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。
来源：KNN算法最早是由Cover和Hart提出的一种分类算法
1.2 距离公式
两个样本的距离可以通过如下公式计算，又叫欧式距离
2、电影类型分析
假设我们有现在几部电影
其中？ 号电影不知道类别，如何去预测？我们可以利用K近邻算法的思想
2.1 问题
- 如果取的最近的电影数量不一样？会是什么结果？
2.2 K-近邻算法数据的特征工程处理
- 结合前面的约会对象数据，分析K-近邻算法需要做什么样的处理
3、K-近邻算法API
- sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')
- n_neighbors：int,可选（默认= 5），k_neighbors查询默认使用的邻居数
- algorithm：{‘auto’，‘ball_tree’，‘kd_tree’，‘brute’}，可选用于计算最近邻居的算法：‘ball_tree’将会使用 BallTree，‘kd_tree’将使用 KDTree。‘auto’将尝试根据传递给fit方法的值来决定最合适的算法。 (不同实现方式影响效率)
使用KNN算法对鸢尾花进行分类，鸢尾花数据集包括三个相关鸢尾种类，50个样品
def knn_iris(): """ 用KNN算法对鸢尾花进行分类 :return: """ # 1）获取数据 iris = load_iris() # 2）划分数据集 # 训练集的特征值x_train 测试集的特征值x_test 训练集的目标值y_train 测试集的目标值y_test x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=22) # 3）特征工程：标准化 transfer = StandardScaler() x_train = transfer.fit_transform(x_train) x_test = transfer.transform(x_test) # 4）KNN算法预估器 estimator = KNeighborsClassifier(n_neighbors=3) estimator.fit(x_train, y_train) # 5）模型评估 # 方法1：直接比对真实值和预测值 y_predict = estimator.predict(x_test) print("y_predict:\n", y_predict) print("直接比对真实值和预测值:\n", y_test == y_predict) # 方法2：计算准确率 score = estimator.score(x_test, y_test) print("准确率为：\n", score) return None
运行结果：
y_predict: [0 2 1 2 1 1 1 2 1 0 2 1 2 2 0 2 1 1 1 1 0 2 0 1 2 0 2 2 2 2 0 0 1 1 1 0 0 0] 直接比对真实值和预测值: [ True True True True True True True True True True True True True True True True True True False True True True True True True True True True True True True True True True True True True True] 准确率为： 0.9736842105263158
4、案例：预测签到位置
数据介绍：将根据用户的位置，准确性和时间戳预测用户正在查看的业务。
train.csv，test.csv
row_id：登记事件的ID
xy：坐标
准确性：定位准确性
时间：时间戳
place_id：业务的ID，这是您预测的目标
4.1 分析
-
对于数据做一些基本处理（这里所做的一些处理不一定达到很好的效果，我们只是简单尝试，有些特征我们可以根据一些特征选择的方式去做处理）
-
1、缩小数据集范围 DataFrame.query()
-
4、删除没用的日期数据 DataFrame.drop（可以选择保留）
-
5、将签到位置少于n个用户的删除
place_count = data.groupby('place_id').count()
tf = place_count[place_count.row_id > 3].reset_index()
data = data[data['place_id'].isin(tf.place_id)]
-
-
分割数据集
-
标准化处理
-
k-近邻预测
4.2 代码
def knncls(): """ K近邻算法预测入住位置类别 :return: """ # 一、处理数据以及特征工程 # 1、读取收，缩小数据的范围 data = pd.read_csv("./data/FBlocation/train.csv") # 数据逻辑筛选操作 df.query() data = data.query("x > 1.0 & x < 1.25 & y > 2.5 & y < 2.75") # 删除time这一列特征 data = data.drop(['time'], axis=1) print(data) # 删除入住次数少于三次位置 place_count = data.groupby('place_id').count() tf = place_count[place_count.row_id > 3].reset_index() data = data[data['place_id'].isin(tf.place_id)] # 3、取出特征值和目标值 y = data['place_id'] # y = data[['place_id']] x = data.drop(['place_id', 'row_id'], axis=1) # 4、数据分割与特征工程? # （1）、数据分割 x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3) # (2)、标准化 std = StandardScaler() # 队训练集进行标准化操作 x_train = std.fit_transform(x_train) print(x_train) # 进行测试集的标准化操作 x_test = std.fit_transform(x_test) # 二、算法的输入训练预测 # K值：算法传入参数不定的值 理论上：k = 根号(样本数) # K值：后面会使用参数调优方法，去轮流试出最好的参数[1,3,5,10,20,100,200] knn = KNeighborsClassifier(n_neighbors=1) # 调用fit() knn.fit(x_train, y_train) # 预测测试数据集，得出准确率 y_predict = knn.predict(x_test) print("预测测试集类别：", y_predict) print("准确率为：", knn.score(x_test, y_test)) return None
4.3 结果分析
准确率： 分类算法的评估之一
- 1、k值取多大？有什么影响？
k值取很小：容易受到异常点的影响
k值取很大：受到样本均衡的问题
- 2、性能问题？
距离计算上面，时间复杂度高
5、K-近邻总结
- 优点：
- 简单，易于理解，易于实现，无需训练
- 缺点：
- 懒惰算法，对测试样本分类时的计算量大，内存开销大
- 必须指定K值，K值选择不当则分类精度不能保证
- 使用场景：小数据场景，几千～几万样本，具体场景具体业务去测试
四、模型选择与调优
学习目标
- 目标
- 说明交叉验证过程
- 说明超参数搜索过程
- 应用GridSearchCV实现算法参数的调优
- 应用
- Facebook签到位置预测调优
1、为什么需要交叉验证
交叉验证目的：为了让被评估的模型更加准确可信
2、什么是交叉验证(cross validation)
交叉验证：将拿到的训练数据，分为训练和验证集。以下图为例：将数据分成5份，其中一份作为验证集。然后经过5次(组)的测试，每次都更换不同的验证集。即得到5组模型的结果，取平均值作为最终结果。又称5折交叉验证。
2.1 分析
我们之前知道数据分为训练集和测试集，但是为了让从训练得到模型结果更加准确。做以下处理
- 训练集：训练集+验证集
- 测试集：测试集
问题：那么这个只是对于参数得出更好的结果，那么怎么选择或者调优参数呢？
3、超参数搜索-网格搜索(Grid Search)
通常情况下，有很多参数是需要手动指定的（如k-近邻算法中的K值），这种叫超参数。但是手动过程繁杂，所以需要对模型预设几种超参数组合。每组超参数都采用交叉验证来进行评估。最后选出最优参数组合建立模型。
3.1 模型选择与调优
- sklearn.model_selection.GridSearchCV(estimator, param_grid=None,cv=None)
- 对估计器的指定参数值进行详尽搜索
- estimator：估计器对象
- param_grid：估计器参数(dict){“n_neighbors”:[1,3,5]}
- cv：指定几折交叉验证
- fit：输入训练数据
- score：准确率
- 结果分析：
- bestscore:在交叉验证中验证的最好结果_
- bestestimator：最好的参数模型
- cvresults:每次交叉验证后的验证集准确率结果和训练集准确率结果
添加网格搜索和交叉验证的KNN鸢尾花分类
def knn_iris_gscv(): """ 用KNN算法对鸢尾花进行分类，添加网格搜索和交叉验证 :return: """ # 1）获取数据 iris = load_iris() # 2）划分数据集 x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=22) # 3）特征工程：标准化 transfer = StandardScaler() x_train = transfer.fit_transform(x_train) x_test = transfer.transform(x_test) # 4）KNN算法预估器 estimator = KNeighborsClassifier() # 加入网格搜索与交叉验证 # 参数准备 param_dict = {"n_neighbors": [1, 3, 5, 7, 9, 11]} estimator = GridSearchCV(estimator, param_grid=param_dict, cv=10) estimator.fit(x_train, y_train) # 5）模型评估 # 方法1：直接比对真实值和预测值 y_predict = estimator.predict(x_test) print("y_predict:\n", y_predict) print("直接比对真实值和预测值:\n", y_test == y_predict) # 方法2：计算准确率 score = estimator.score(x_test, y_test) print("准确率为：\n", score) # 最佳参数：best_params_ print("最佳参数：\n", estimator.best_params_) # 最佳结果：best_score_ print("最佳结果：\n", estimator.best_score_) # 最佳估计器：best_estimator_ print("最佳估计器:\n", estimator.best_estimator_) # 交叉验证结果：cv_results_ print("交叉验证结果:\n", estimator.cv_results_) return None
4、Facebook签到位置预测K值调优
- 使用网格搜索估计器
# 使用网格搜索和交叉验证找到合适的参数 knn = KNeighborsClassifier() param = {"n_neighbors": [3, 5, 10]} gc = GridSearchCV(knn, param_grid=param, cv=2) gc.fit(x_train, y_train) print("选择了某个模型测试集当中预测的准确率为：", gc.score(x_test, y_test)) # 训练验证集的结果 print("在交叉验证当中验证的最好结果：", gc.best_score_) print("gc选择了的模型K值是：", gc.best_estimator_) print("每次交叉验证的结果为：", gc.cv_results_)
五、朴素贝叶斯算法
学习目标
- 目标
- 说明条件概率与联合概率
- 说明贝叶斯公式、以及特征独立的关系
- 记忆贝叶斯公式
- 知道拉普拉斯平滑系数
- 应用贝叶斯公式实现概率的计算
- 应用
- 20类新闻文章分类预测
1、 什么是朴素贝叶斯分类方法
2、 概率基础
2.1 概率(Probability)定义
- 概率定义为一件事情发生的可能性
- 扔出一个硬币，结果头像朝上
- 某天是晴天
- P(X) : 取值在[0, 1]
2.2 女神是否喜欢计算案例
在讲这两个概率之前我们通过一个例子，来计算一些结果：
- 问题如下：
那么其中有些问题我们计算的结果不正确，或者不知道计算，我们有固定的公式去计算
2.3 条件概率与联合概率
- 联合概率：包含多个条件，且所有条件同时成立的概率
- 记作：P(A,B)
- 特性：P(A, B) = P(A)P(B)
- 条件概率：就是事件A在另外一个事件B已经发生条件下的发生概率
- 记作：P(A|B)
- 特性：P(A1,A2|B) = P(A1|B)P(A2|B)
注意：此条件概率的成立，是由于A1,A2相互独立的结果(记忆)
这样我们计算结果为：
p(程序员, 匀称) = P(程序员)P(匀称) =3/7*(4/7) = 12/49
P(产品, 超重|喜欢) = P(产品|喜欢)P(超重|喜欢)=1/2 * 1/4 = 1/8
那么，我们知道了这些知识之后，继续回到我们的主题中。朴素贝叶斯如何分类，这个算法经常会用在文本分类，那就来看文章分类是一个什么样的问题？
这个了类似一个条件概率，那么仔细一想，给定文章其实相当于给定什么？结合前面我们将文本特征抽取的时候讲的？所以我们可以理解为
但是这个公式怎么求？前面并没有参考例子，其实是相似的，我们可以使用贝叶斯公式去计算
3、 贝叶斯公式
3.1 公式
那么这个公式如果应用在文章分类的场景当中，我们可以这样看：
公式分为三个部分：
- P(C)：每个文档类别的概率(某文档类别数／总文档数量)
- P(W│C)：给定类别下特征（被预测文档中出现的词）的概率
- 计算方法：P(F1│C)=Ni/N （训练文档中去计算）
- Ni为该F1词在C类别所有文档中出现的次数
- N为所属类别C下的文档所有词出现的次数和
- 计算方法：P(F1│C)=Ni/N （训练文档中去计算）
- P(F1,F2,…) 预测文档中每个词的概率
如果计算两个类别概率比较：
所以我们只要比较前面的大小就可以，得出谁的概率大
3.2 文章分类计算
- 假设我们从训练数据集得到如下信息
- 计算结果
科技：P(科技|影院,支付宝,云计算) = 𝑃(影院,支付宝,云计算|科技)∗P(科技)=(8/100)∗(20/100)∗(63/100)∗(30/90) = 0.00456109
娱乐：P(娱乐|影院,支付宝,云计算) = 𝑃(影院,支付宝,云计算|娱乐)∗P(娱乐)=(56/121)∗(15/121)∗(0/121)∗(60/90) = 0
思考:我们计算出来某个概率为0，合适吗？
3.3 拉普拉斯平滑系数
目的：防止计算出的分类概率为0
P(娱乐|影院,支付宝,云计算) =P(影院,支付宝,云计算|娱乐)P(娱乐) =P(影院|娱乐)*P(支付宝|娱乐)*P(云计算|娱乐)P(娱乐)=(56+1/121+4)(15+1/121+4)(0+1/121+1*4)(60/90) = 0.00002
3.4 API
- sklearn.naive_bayes.MultinomialNB(alpha = 1.0)
- 朴素贝叶斯分类
- alpha：拉普拉斯平滑系数
4、案例：20类新闻分类
4.1 分析
-
分割数据集
-
tfidf进行的特征抽取
- 朴素贝叶斯预测
4.2 代码
def nb_news(): """ 用朴素贝叶斯算法对新闻进行分类 :return: """ # 1）获取数据 news = fetch_20newsgroups(subset="all") # 2）划分数据集 x_train, x_test, y_train, y_test = train_test_split(news.data, news.target) # 3）特征工程：文本特征抽取-tfidf transfer = TfidfVectorizer() x_train = transfer.fit_transform(x_train) x_test = transfer.transform(x_test) # 4）朴素贝叶斯算法预估器流程 estimator = MultinomialNB() estimator.fit(x_train, y_train) # 5）模型评估 # 方法1：直接比对真实值和预测值 y_predict = estimator.predict(x_test) print("y_predict:\n", y_predict) print("直接比对真实值和预测值:\n", y_test == y_predict) # 方法2：计算准确率 score = estimator.score(x_test, y_test) print("准确率为：\n", score) return None
结果：
y_predict: [ 3 4 15 ... 12 2 4] 直接比对真实值和预测值: [ True True False ... True True True] 准确率为： 0.8531409168081494
5、总结
- 优点：
- 朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率。
- 对缺失数据不太敏感，算法也比较简单，常用于文本分类。
- 分类准确度高，速度快
- 缺点：
- 由于使用了样本属性独立性的假设，所以如果特征属性有关联时其效果不好
六、决策树
学习目标
- 目标
- 说明信息熵的公式以及作用
- 说明信息增益的公式作用
- 应用信息增益实现计算特征的不确定性减少程度
- 了解决策树的三种算法实现
- 应用
- 泰坦尼克号乘客生存预测
1、认识决策树
决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法
怎么理解这句话？通过一个对话例子
想一想这个女生为什么把年龄放在最上面判断！！！！！！！！！
2、决策树分类原理详解
为了更好理解决策树具体怎么分类的，我们通过一个问题例子？
问题：如何对这些客户进行分类预测？你是如何去划分？
有可能你的划分是这样的
那么我们怎么知道这些特征哪个更好放在最上面，那么决策树的真是划分是这样的
2.1 原理
- 信息熵、信息增益等
需要用到信息论的知识！！！问题：通过例子引入信息熵
2.2 信息熵
那来玩个猜测游戏，猜猜这32支球队那个是冠军。并且猜测错误付出代价。每猜错一次给一块钱，告诉我是否猜对了，那么我需要掏多少钱才能知道谁是冠军？ （前提是：不知道任意球队的信息、历史比赛记录、实力等）
为了使代价最小，可以使用二分法猜测：
我可以把球编上号，从1到32，然后提问：冠 军在1-16号吗？依次询问，只需要五次，就可以知道结果。
我们来看这个式子：
- 32支球队，log32=5比特
- 64支球队，log64=6比特
香农指出，它的准确信息量应该是，p为每个球队获胜的概率（假设概率相等，都为1/32），我们不用钱去衡量这个代价了，香浓指出用比特：
H = -(p1logp1 + p2logp2 + ... + p32log32) = - log32
2.2.1 信息熵的定义
- H的专业术语称之为信息熵，单位为比特。
“谁是世界杯冠军”的信息量应该比5比特少，特点（重要）：
- 当这32支球队夺冠的几率相同时，对应的信息熵等于5比特
- 只要概率发生任意变化，信息熵都比5比特大
2.2.2 总结（重要）
- 信息和消除不确定性是相联系的
当我们得到的额外信息（球队历史比赛情况等等）越多的话，那么我们猜测的代价越小（猜测的不确定性减小）
问题： 回到我们前面的贷款案例，怎么去划分？可以利用当得知某个特征（比如是否有房子）之后，我们能够减少的不确定性大小。越大我们可以认为这个特征很重要。那怎么去衡量减少的不确定性大小呢？
2.3 决策树的划分依据之一------信息增益
2.3.1 定义与公式
特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差，即公式为：
公式的详细解释：
注：信息增益表示得知特征X的信息而息的不确定性减少的程度使得类Y的信息熵减少的程度
2.3.2 贷款特征重要计算
- 我们以年龄特征来计算：
1、g(D, 年龄) = H(D) -H(D|年龄) = 0.971-[5/15H(青年)+5/15H(中年)+5/15H(老年]
2、H(D) = -(6/15log(6/15)+9/15log(9/15))=0.971
3、H(青年) = -(3/5log(3/5) +2/5log(2/5))
H(中年)=-(3/5log(3/5) +2/5log(2/5))
H(老年)=-(4/5og(4/5)+1/5log(1/5))
我们以A1、A2、A3、A4代表年龄、有工作、有自己的房子和贷款情况。最终计算的结果g(D, A1) = 0.313, g(D, A2) = 0.324, g(D, A3) = 0.420,g(D, A4) = 0.363。所以我们选择A3 作为划分的第一个特征。这样我们就可以一棵树慢慢建立
2.4 决策树的三种算法实现
当然决策树的原理不止信息增益这一种，还有其他方法。但是原理都类似，我们就不去举例计算。
- ID3
- 信息增益 最大的准则
- C4.5
- 信息增益比 最大的准则
- CART
- 分类树: 基尼系数 最小的准则 在sklearn中可以选择划分的默认原则
- 优势：划分更加细致（从后面例子的树显示来理解）
2.5 决策树API
- class sklearn.tree.DecisionTreeClassifier(criterion=’gini’, max_depth=None,random_state=None)
- 决策树分类器
- criterion:默认是’gini’系数，也可以选择信息增益的熵’entropy’
- max_depth:树的深度大小
- random_state:随机数种子
- 其中会有些超参数：max_depth:树的深度大小
- 其它超参数我们会结合随机森林讲解
3、案例：泰坦尼克号乘客生存预测
- 泰坦尼克号数据
在泰坦尼克号和titanic2数据帧描述泰坦尼克号上的个别乘客的生存状态。这里使用的数据集是由各种研究人员开始的。其中包括许多研究人员创建的旅客名单，由Michael A. Findlay编辑。我们提取的数据集中的特征是票的类别，存活，乘坐班，年龄，登陆，home.dest，房间，票，船和性别。
1、乘坐班是指乘客班（1，2，3），是社会经济阶层的代表。
2、其中age数据存在缺失。
数据：http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt
3.1 分析
- 选择我们认为重要的几个特征 ['pclass', 'age', 'sex']
- 填充缺失值
- 特征中出现类别符号，需要进行one-hot编码处理(DictVectorizer)
- x.to_dict(orient="records") 需要将数组特征转换成字典数据
- 数据集划分
- 决策树分类预测
3.2 代码
def decisioncls(): """ 决策树进行乘客生存预测 :return: """ # 1、获取数据 titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt") # 2、数据的处理 x = titan[['pclass', 'age', 'sex']] y = titan['survived'] # print(x , y) # 缺失值需要处理，将特征当中有类别的这些特征进行字典特征抽取 x['age'].fillna(x['age'].mean(), inplace=True) # 对于x转换成字典数据x.to_dict(orient="records") # [{"pclass": "1st", "age": 29.00, "sex": "female"}, {}] dict = DictVectorizer(sparse=False) x = dict.fit_transform(x.to_dict(orient="records")) print(dict.get_feature_names()) print(x) # 分割训练集合测试集 x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3) # 进行决策树的建立和预测 dc = DecisionTreeClassifier(max_depth=5) dc.fit(x_train, y_train) print("预测的准确率为：", dc.score(x_test, y_test)) return None
由于决策树类似一个树的结构，我们可以保存到本地显示
3.3 保存树的结构到dot文件
- 1、sklearn.tree.export_graphviz() 该函数能够导出DOT格式
- tree.export_graphviz(estimator,out_file='tree.dot’,feature_names=[‘’,’’])
- 2、工具:(能够将dot文件转换为pdf、png)
- 安装graphviz
- ubuntu:sudo apt-get install graphviz Mac:brew install graphviz
- 3、运行命令
- 然后我们运行这个命令
- dot -Tpng tree.dot -o tree.png
export_graphviz(dc, out_file="./tree.dot", feature_names=['age', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', '女性', '男性'])
4、 决策树总结
- 优点：
- 简单的理解和解释，树木可视化。
- 缺点：
- 决策树学习者可以创建不能很好地推广数据的过于复杂的树，这被称为过拟合。
- 改进：
- 减枝cart算法(决策树API当中已经实现，随机森林参数调优有相关介绍)
- 随机森林
注：企业重要决策，由于决策树很好的分析能力，在决策过程应用较多， 可以选择特征
七、集成学习方法之随机森林
学习目标
- 目标
- 说名随机森林每棵决策树的建立过程
- 知道为什么需要随机有放回(Bootstrap)的抽样
- 说明随机森林的超参数
- 应用
- 泰坦尼克号乘客生存预测
1、 什么是集成学习方法
集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成组合预测，因此优于任何一个单分类的做出预测。
2、 什么是随机森林
在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。
例如, 如果你训练了5个树, 其中有4个树的结果是True, 1个数的结果是False, 那么最终投票结果就是True
3、 随机森林原理过程
学习算法根据下列算法而建造每棵树：
- 用N来表示训练用例（样本）的个数，M表示特征数目。
- 1、一次随机选出一个样本，重复N次， （有可能出现重复的样本）
- 2、随机去选出m个特征, m <<M，建立决策树
- 采取bootstrap抽样
3.1 为什么采用BootStrap（随机有放回抽样）抽样
- 为什么要随机抽样训练集？
- 如果不进行随机抽样，每棵树的训练集都一样，那么最终训练出的树分类结果也是完全一样的
- 为什么要有放回地抽样？
- 如果不是有放回的抽样，那么每棵树的训练样本都是不同的，都是没有交集的，这样每棵树都是“有偏的”，都是绝对“片面的”（当然这样说可能不对），也就是说每棵树训练出来都是有很大的差异的；而随机森林最后分类取决于多棵树（弱分类器）的投票表决。
3.2 API
-
class sklearn.ensemble.RandomForestClassifier(n_estimators=10, criterion=’gini’, max_depth=None, bootstrap=True, random_state=None, min_samples_split=2)
- 随机森林分类器
- n_estimators：integer，optional（default = 10）森林里的树木数量120,200,300,500,800,1200
- criteria：string，可选（default =“gini”）分割特征的测量方法
- max_depth：integer或None，可选（默认=无）树的最大深度 5,8,15,25,30
- max_features="auto”,每个决策树的最大特征数量
- If "auto", then
max_features=sqrt(n_features). - If "sqrt", then
max_features=sqrt(n_features)(same as "auto"). - If "log2", then
max_features=log2(n_features). - If None, then
max_features=n_features.
- If "auto", then
- bootstrap：boolean，optional（default = True）是否在构建树时使用放回抽样
- min_samples_split:节点划分最少样本数
- min_samples_leaf:叶子节点的最小样本数
- 超参数：n_estimator, max_depth, min_samples_split,min_samples_leaf
3.3 代码
# 随机森林去进行预测
rf = RandomForestClassifier()
param = {"n_estimators": [120,200,300,500,800,1200], "max_depth": [5, 8, 15, 25, 30]}
# 超参数调优
gc = GridSearchCV(rf, param_grid=param, cv=2)
gc.fit(x_train, y_train)
print("随机森林预测的准确率为：", gc.score(x_test, y_test))
4、总结
- 在当前所有算法中，具有极好的准确率
- 能够有效地运行在大数据集上，处理具有高维特征的输入样本，而且不需要降维
- 能够评估各个特征在分类问题上的重要性
