python+sklearn实现决策树（分类树）
整理今天的代码……
采用的是150条鸢尾花的数据集fishiris.csv
# 读入数据，把Name列取出来作为标签（groundtruth）
import pandas as pd
data = pd.read_csv('fishiris.csv')
print(data.head(5))
X = data.iloc[:, data.columns != 'Name']
Y = data['Name']
df.iloc[rows, columns]取出符合条件的列。查看数据读取是否正确（关于pandas使用最熟练的一条……orz），如果csv文件或者其他数据没有列名需要加上names=[]?
SepalLength SepalWidth PetalLength PetalWidth Name
0 5.1 3.5 1.4 0.2 setosa
1 4.9 3.0 1.4 0.2 setosa
2 4.7 3.2 1.3 0.2 setosa
3 4.6 3.1 1.5 0.2 setosa
4 5.0 3.6 1.4 0.2 setosa
确认数据无误后就可以分出验证集和测试集，挺方便的！查看一下返回数据的格式和数据集好像是相同的：type(Xtrain):<class .pandas.core.frame.DataFrame'>
# 分割验证集和训练集
from sklearn.model_selection import train_test_split
Xtrain, Xtest, Ytrain, Ytest = train_test_split(X,Y,test_size=0.2)
数据准备好就可以建模了。注意，因为这个数据集里没有空缺值所以没管，但是sklearn里这个模块好像是不能处理空缺的？要手动写个函数填进去。
# 导入分类树的模块
from sklearn.tree import DecisionTreeClassifier
# 需要整理一下序号，也就是更新df.index，前面的可以看到挺乱的，因为是随机取的
for i in [Xtrain,Xtest,Ytrain,Ytest]: # 这里的意思是i依次为Xtrain，Xtest……并修改它们的index值
print(i,'before')
i.index = range(i.shape[0])
print(i,'after changed')
clf = DecisionTreeClassifier(random_state=3) # 初始化
clf = clf.fit(Xtrain,Ytrain) # 拟合
score_ = clf.score(Xtest, Ytest) # 验证集查看得分，这个得分好像就是分类的准确率
# 可以输入数据送到训练好的模型里，输出预测的类
y_pred = clf.predict(Xtest)
看看：
# 之前的index
SepalLength SepalWidth PetalLength PetalWidth
19 5.1 3.8 1.5 0.3
67 5.8 2.7 4.1 1.0
6 4.6 3.4 1.4 0.3
100 6.3 3.3 6.0 2.5
39 5.1 3.4 1.5 0.2
.. ... ... ... ...
106 4.9 2.5 4.5 1.7
25 5.0 3.0 1.6 0.2
138 6.0 3.0 4.8 1.8
84 5.4 3.0 4.5 1.5
94 5.6 2.7 4.2 1.3
[120 rows x 4 columns] before
# 之后的index
SepalLength SepalWidth PetalLength PetalWidth
0 5.1 3.8 1.5 0.3
1 5.8 2.7 4.1 1.0
2 4.6 3.4 1.4 0.3
3 6.3 3.3 6.0 2.5
4 5.1 3.4 1.5 0.2
.. ... ... ... ...
115 4.9 2.5 4.5 1.7
116 5.0 3.0 1.6 0.2
117 6.0 3.0 4.8 1.8
118 5.4 3.0 4.5 1.5
119 5.6 2.7 4.2 1.3
[120 rows x 4 columns] after changed
输出验证集的预测结果以及和真值的对比：
['virginica' 'setosa' 'versicolor' 'setosa' 'setosa' 'versicolor' 'setosa'
'setosa' 'setosa' 'versicolor' 'virginica' 'versicolor' 'setosa'
'virginica' 'setosa' 'virginica' 'versicolor' 'versicolor' 'virginica'
'virginica' 'versicolor' 'versicolor' 'versicolor' 'virginica'
'virginica' 'versicolor' 'setosa' 'setosa' 'setosa' 'virginica']
0 True
1 True
2 True
3 True
4 True
5 True
6 True
7 True
8 True
9 True
10 True
11 True
12 True
13 True
14 True
15 True
16 True
17 True
18 True
19 True
20 True
21 True
22 True
23 True
24 True
25 True
26 True
27 True
28 True
29 True
Name: Name, dtype: bool
更高级的建模方法：利用GridSearchCV这个模块！
# 预测结果不准确，可以使用网格法优化，这里设定了模型训练的多个参数，利用sklearn里的模块可以自己测试并选择结果最好的一个模型？我还不是很懂
parameters = {'splitter':('best','random')
,'criterion':("gini","entropy")
,"max_depth":[*range(1,10)]
,'min_samples_leaf':[*range(1,50,5)]
,'min_impurity_decrease':[*np.linspace(0,0.5,20)]
}
from sklearn.model_selection import GridSearchCV
GS = GridSearchCV(clf, parameters, cv=10)
GS.fit(Xtrain,Ytrain)
print(GS.best_params_)
print(GS.best_score_)
{'criterion': 'gini', 'max_depth': 5, 'min_impurity_decrease': 0.0, 'min_samples_leaf': 1, 'splitter': 'random'}
0.9703296703296704
score_ = clf.score(Xtest, Ytest)
print(score_,'score') # 1.0 score
明天想把图画出来嗷嗷，然后再试试回归树！
