机器学习 | 鸢尾花分类项目实战
前言：本系列博客参考于 《机器学习算法导论》和《Python机器学习》
如有侵权，敬请谅解。本书尽量用总结性的语言重述本书内容，避免侵权。
上一篇已经介绍了感知器算法规则，并且用 Python 语言实现了。现在我们应用感知器学习规则进行鸢尾花分类实验。
\[QAQ
\]
测试数据我们从鸢尾花数据集中挑选出了山鸢尾（Setosa）和变色鸢尾（Versicolor）两种花的信息作为测试数据。虽然感知器并不将数据样本特征的数量限定为两个，但出于可视化的原因，我们只考虑数据集中萼片长度（sepal length）和花瓣长度（petal length）这两个特征。同时，选择山鸢尾和变色鸢尾也是出于实践需要的考虑。不过，感知器算法可以扩展到多类别的分类器应用中，比如通过一对多技术。
注：一对多技术也称为一对其他技术，是一种将二分类技术扩充到多类别分类任务上的一种技术。
我们可以使用 \(QvA\) 针对每个类别训练一个分类器，其中分类器所对应类别样本为正类别，其他所有分类器的样本为负类别。
当应用与新数据样本识别时，我们可以借助于分类器 \(\phi(z)\) ，其中m为类标数量，并将相关度最高的类标赋给待识别样本。对于感知器来说，就是最大净输入值绝对值对应的类标。
1、加载训练数据
使用 pandas 库直接从 \(UCI\) 机器学习库中将鸢尾花数据集转换为 DataFrame 对象并加载到内存中，并使用 tail 方法现实部分数据信息.
import pandas as pd
df = pd.read_csv(
"https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data",
header=None)
# df = pd.read_csv("iris.data", header=None)
# 输出最后20行的数据，并观察数据结构 萼片长度（sepal length），萼片宽度()，
# 花瓣长度（petal length），花瓣宽度，种类
print(df.tail(n=20))
print(df.shape)
2、绘制训练数据
我们从鸢尾花数据集中提取前 \(100\) 个类标，其中分别包含 \(50\) 个山鸢尾类标和 \(50\) 个变色鸢尾类标，并将这些类标用两个整数值来替代：\(1\) 代表变色鸢尾，\(-1\) 代表山鸢尾，同时把 pandas DataFrame 产生的对应的整数类标赋值给 Numpy 的向量 \(y\)
类似的，我们提取这 \(100\) 个训练样本的第一个特征列（萼片长度）和第三个特征列（花瓣长度），并赋值给属性矩阵 \(X\)，这样我们就可以用二维散点图对这些数据进行可视化了。
# 0到100行，第5列
y = df.iloc[0:100, 4].values
# 将target值转数字化 Iris-setosa为-1，否则值为1
y = np.where(y == "Iris-setosa", -1, 1)
# 取出0到100行，第1，第三列的值
x = df.iloc[0:100, [0, 2]].values
""" 鸢尾花散点图 """
# scatter绘制点图
plt.scatter(x[0:50, 0], x[0:50, 1], color="red", marker="o", label="setosa")
plt.scatter(x[50:100, 0],
x[50:100, 1],
color="blue",
marker="x",
label="versicolor")
# 防止中文乱码 下面分别是windows系统，mac系统解决中文乱码方案
zh = mat.font_manager.FontProperties(fname='C:\Windows\Fonts\simsun.ttc')
plt.title("鸢尾花散点图", fontproperties=zh)
plt.xlabel(u"花瓣长度", fontproperties=zh)
plt.ylabel(u"萼片长度", fontproperties=zh)
plt.legend(loc="upper left")
plt.show()
3、训练数据
现在我们可以利用抽取出的鸢尾花数据子集来训练感知器了。同时，我们还将绘制每次迭代的错误分类数量的折线图，以检验算法是否收敛并找到可以分开两种类型鸢尾花的决策边界。
训练代码：
from perceptron import Perceptron
import matplotlib.pyplot as plt
import matplotlib as mat
import pandas as pd
import numpy as np
"""
训练模型并且记录错误次数，观察错误次数的变化
"""
print(__doc__)
# 加载鸢尾花数据
df = pd.read_csv(
"https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data",
header=None)
# df = pd.read_csv("iris.data", header=None)
# 数据真实值
y = df.iloc[0:100, 4].values
y = np.where(y == "Iris-setosa", -1, 1)
x = df.iloc[0:100, [0, 2]].values
"""
误差数折线图
@:param eta: 0.1 学习速率
@:param n_iter：0.1 迭代次数
"""
ppn = Perceptron(eta=0.1, n_iter=10)
ppn.fit(x, y)
# plot绘制折线图
plt.plot(range(1, len(ppn.errors_) + 1), ppn.errors_, marker="o")
# 防止中文乱码
zhfont1 = mat.font_manager.FontProperties(fname='C:\Windows\Fonts\simsun.ttc')
plt.xlabel("迭代次数（n_iter）", fontproperties=zhfont1)
plt.ylabel("错误分类次数（error_number）", fontproperties=zhfont1)
plt.show()
上面的代码绘制了每轮迭代的错误次数，从图可以看出，在第 \(6\) 轮迭代之后的出错次数已经降为 \(0\)（收敛），并且具备了对训练样本及进行正确分类的能力。
4、决策边界可视化
以下代码是对鸢尾花花萼长度、花瓣长度进行可视化及分类
from os import makedirs
import numpy as np
from sklearn import datasets
from sklearn.model_selection import train_test_split
from My_Perceptron import Perceptron
import matplotlib.pyplot as plt
import matplotlib as mat
import pandas as pd
iris = datasets.load_iris()
X = iris["data"][:, (0, 1)]
y = 2 * (iris["target"] == 0).astype(np.int64) - 1
X_train, X_test, y_train, y_test = train_test_split(X,
y,
test_size=0.4,
random_state=5)
model = Perceptron()
model.fit(X_train, y_train)
model.predict(X_test)
plt.figure(2)
plt.axis([4, 8, 1, 5])
plt.plot(X_train[:, 0][y_train == 1], X_train[:, 1][y_train == 1], "bs", ms=3)
plt.plot(X_train[:, 0][y_train == -1],
X_train[:, 1][y_train == -1],
"yo",
ms=3)
x0 = np.linspace(4, 8, 200)
w = model.w
b = model.b
line = -w[0] / w[1] * x0 - b / w[1]
plt.plot(x0, line)
# 防止中文乱码 下面分别是windows系统，mac系统解决中文乱码方案
zh = mat.font_manager.FontProperties(fname='C:\Windows\Fonts\simsun.ttc')
plt.title("鸢尾花散点图", fontproperties=zh)
plt.xlabel(u"花瓣长度", fontproperties=zh)
plt.ylabel(u"萼片长度", fontproperties=zh)
# plt.legend(loc="upper left")
plt.show()
import perceptron as pp
import pandas as pd
import matplotlib as mat
from matplotlib.colors import ListedColormap
import numpy as np
import matplotlib.pyplot as plt
def plot_decision_regions(x, y, classifier, resolution=0.2):
"""
二维数据集决策边界可视化
:parameter
-----------------------------
:param self: 将鸢尾花花萼长度、花瓣长度进行可视化及分类
:param x: list 被分类的样本
:param y: list 样本对应的真实分类
:param classifier: method 分类器：感知器
:param resolution:
:return:
-----------------------------
"""
markers = ('s', 'x', 'o', '^', 'v')
colors = ('red', 'blue', 'lightgreen', 'gray', 'cyan')
# y去重之后的种类
listedColormap = ListedColormap(colors[:len(np.unique(y))])
# 花萼长度最小值-1，最大值+1
x1_min, x1_max = x[:, 0].min() - 1, x[:, 0].max() + 1
# 花瓣长度最小值-1，最大值+1
x2_min, x2_max = x[:, 1].min() - 1, x[:, 1].max() + 1
# 将最大值，最小值向量生成二维数组xx1,xx2
# np.arange(x1_min, x1_max, resolution) 最小值最大值中间，步长为resolution
new_x1 = np.arange(x1_min, x1_max, resolution)
new_x2 = np.arange(x2_min, x2_max, resolution)
xx1, xx2 = np.meshgrid(new_x1, new_x2)
# 预测值
# z = classifier.predict([xx1, xx2])
z = classifier.predict(np.array([xx1.ravel(), xx2.ravel()]).T)
z = z.reshape(xx1.shape)
plt.contourf(xx1, xx2, z, alpha=0.4, camp=listedColormap)
plt.xlim(xx1.min(), xx1.max())
plt.ylim(xx2.min(), xx2.max())
for idx, c1 in enumerate(np.unique(y)):
plt.scatter(x=x[y == c1, 0],
y=x[y == c1, 1],
alpha=0.8,
c=listedColormap(idx),
marker=markers[idx],
label=c1)
df = pd.read_csv(
"https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data",
header=None)
# 0到100行，第5列
y = df.iloc[0:100, 4].values
# 将target值转数字化 Iris-setosa为-1，否则值为1,相当于激活函数-在此处表现为分段函数
y = np.where(y == "Iris-setosa", -1, 1)
# 取出0到100行，第1，第三列的值
x = df.iloc[0:100, [0, 2]].values
ppn = pp.Perceptron(eta=0.1, n_iter=10)
ppn.fit(x, y)
plot_decision_regions(x, y, classifier=ppn)
# 防止中文乱码
zhfont1 = mat.font_manager.FontProperties(fname='C:\Windows\Fonts\simsun.ttc')
plt.title("鸢尾花花瓣、花萼边界分割", fontproperties=zhfont1)
plt.xlabel("花瓣长度 [cm]", fontproperties=zhfont1)
plt.ylabel("花萼长度 [cm]", fontproperties=zhfont1)
plt.legend(loc="uper left")
plt.show()
