sklearn.tree.DecisionTreeClassifier
基于 scikit-learn 的决策树分类模型 DecisionTreeClassifier 进行的分类运算
class sklearn.tree.DecisionTreeClassifier(criterion=’gini’, splitter=’best’, max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None, random_state=None, max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, class_weight=None, presort=False)
参数：
criterion : 默认为 "gini"。是特征选择的标准，可选择基尼系数 "gini" 或者 信息熵 "entropy"。
splitter : 默认为 "best"。"best" 是在特征的所有划分点中找出最优的划分点。"random" 是随机的在部分划分点中找局部最优的划分点。"best" 适合样本量不大的时候，如果样本数据量非常大，推荐 "random"。
max_depth : 默认为 None。设置树的最大深度。如果是 None，则不限制子树的深度，直到所有叶子是纯的，或者所有叶子包含少于 min_samples_split 的样本。
min_samples_split : 默认为 2，可以是 int 或者 float 格式。限制子树继续划分的条件，如果节点的样本数小于这个值，则不会再划分。当为 float 值时，拆分的最小样本数为 ceil(min_samples_split * n_samples)。
min_samples_leaf : 默认为1，可以是 int 或者 float 格式。设置叶子节点的最小样本数，如果某叶子节点数目小于样本数，则会和兄弟节点一起被剪枝。当为 float 值时，此时叶子最小样本数为 ceil（min_samples_leaf * n_samples）。
min_weight_fraction_leaf : 叶子节点最小的样本权重和。这个值限制了叶子节点所有样本权重和的最小值，如果小于这个值，则会和兄弟节点一起被剪枝。 默认是0，就是不考虑权重问题。一般来说，如果我们有较多样本有缺失值，或者分类树样本的分布类别偏差很大，就会引入样本权重，这时我们就要注意这个值了。
max_features : 划分时考虑的最大特征数，默认为 None。是划分时考虑的最大特征数，
- 如果是 int, 最大特征数为此 max_features 值。
- 如果是 float, 值为 int(max_features * n_features)。
- 如果是 “auto”, 值为 max_features=sqrt(n_features)。
- 如果是 “sqrt”, 值为 max_features=sqrt(n_features)。
- 如果是 “log2”, 值为 max_features=log2(n_features)。
- 如果是 None, 值为 max_features=n_features 表示划分时考虑所有的特征数。
- random_state : 默认为 None。随机种子。
max_leaf_nodes : 最大叶子节点数，默认为 None。限制最大叶子节点数，可以防止过拟合如果为 None，则不显示最大的叶子节点数。
class_weight : 指定样本各类别的的权重。默认为 None，表示没有权重偏倚。如果为 "balanced"，则算法会自己计算权重，样本少的权重高，公式：n_samples / (n_classes * np.bincount(y))。
min_impurity_decrease : 默认为0。参数的意义是，如果继续分裂能减少的杂质大于或等于该值，则分裂节点。
min_impurity_split : 如果节点的不纯度高于阈值，节点将分裂。（已被 min_impurity_decrease 代替）。
presort : 设置数据是否预排序，默认为 False。在大型数据集上，设置为 True 可能反而会降低训练速度，在较小数据集或者限制深度的树上使用 True 能加快训练速度。
属性：
max_features_ : 特征的数量
feature_importances_ : 特征的重要性。
原文：https://blog.csdn.net/tz_zs/article/details/73796241
import csv
from sklearn.feature_extraction import DictVectorizer
from sklearn import tree
from sklearn import preprocessing
from sklearn.externals.six import StringIO
# Read in the csv file and put features into list of dict and list
# of class label
# open（）函数最好用绝对路径
allElectronicsData = open(r'd:/AllElectronics.csv', 'rt') # 此处必须用rt不能用rb读取文本文件
reader = csv.reader(allElectronicsData)
headers = next(reader) # 此处已改
headers
scikit-learn要求所有输入的值为数值型，而不能为我们本数据中的文字或者字符，因此需要先进行转化。 数据中的age转化成三维的一个量：yougth，middle-age，senor，如果是yougth则为 1 0 0，同样的可以转化其他属性。
featureList = []
labelList = []
for row in reader:
labelList.append(row[len(row) - 1]) # row为一个list，不能用row[-1]
rowDict = {}
for i in range(1, len(row) - 1):
rowDict[headers[i]] = row[i]
featureList.append(rowDict)
print(featureList)
把原始数据转化成list字典，是为了利用python提供的模块，直接把数据转化成0-1格式
# Vetorize features
vec = DictVectorizer() # 实例化
dummyX = vec.fit_transform(featureList).toarray()
print("dummyX: " + str(dummyX))
print(vec.get_feature_names())
# vectorize class labels
lb = preprocessing.LabelBinarizer()
dummyY = lb.fit_transform(labelList)
print("dummyY: " + str(dummyY))
# Using decision tree for classification
# clf = tree.DecisionTreeClassifier()
clf = tree.DecisionTreeClassifier(criterion='entropy')
clf = clf.fit(dummyX, dummyY)
# Visualize model
with open(r"d:/allElectronicInformationGainOri.dot", 'w') as f:
f = tree.export_graphviz(clf, feature_names=vec.get_feature_names(), out_file=f)
因为上图中的路径为d盘根目录，进入cmd命令然后进入d盘cd \，d：，执行下面的命令： dot -Tpdf allElectronicInformationGainOri.dot -o outpu.pdf 转化为pdf
