02-02 感知机原始形式(鸢尾花分类)
感知机原始形式(鸢尾花分类)
导入模块
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from matplotlib.colors import ListedColormap
from matplotlib.font_manager import FontProperties
# jupyter显示matplotlib生成的图片
%matplotlib inline
# 中文字体设置
font = FontProperties(fname='/Library/Fonts/Heiti.ttc')
自定义感知机模型
class Perceptron():
"""自定义感知机算法"""
def __init__(self, learning_rate=0.01, num_iter=50, random_state=1):
self.learning_rate = learning_rate
self.num_iter = num_iter
self.random_state = random_state
def fit(self, X, y):
"""初始化并更新权重"""
# 通过标准差为0.01的正态分布初始化权重
rgen = np.random.RandomState(self.random_state)
self.w_ = rgen.normal(loc=0.0, scale=0.01, size=1 + X.shape[1])
self.errors_ = []
# 循环遍历更新权重直至算法收敛
for _ in range(self.num_iter):
errors = 0
for x_i, target in zip(X, y):
# 分类正确不更新，分类错误更新权重
update = self.learning_rate * (target - self.predict(x_i))
self.w_[1:] += update * x_i
self.w_[0] += update
errors += int(update != 0.0)
self.errors_.append(errors)
return self
def predict_input(self, X):
"""计算预测值"""
return np.dot(X, self.w_[1:]) + self.w_[0]
def predict(self, X):
"""得出sign(预测值)即分类结果"""
return np.where(self.predict_input(X) >= 0.0, 1, -1)
获取数据
由于获取的鸢尾花数据总共有3个类别，所以只提取前100个鸢尾花的数据得到正类(versicolor 杂色鸢尾)和负类(setosa 山尾)，并分别用数字1和-1表示，并存入标记向量y，之后逻辑回归会讲如何对3个类别分类。同时由于三维以上图像不方便展示，将只提取第三列（花瓣长度）和第三列（花瓣宽度）的特征放入特征矩阵X。
df = pd.read_csv(
'http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data', header=None)
# 取出前100行的第五列即生成标记向量
y = df.iloc[0:100, 4].values
y = np.where(y == 'Iris-versicolor', 1, -1)
# 取出前100行的第一列和第三列的特征即生成特征向量
X = df.iloc[0:100, [2, 3]].values
plt.scatter(X[:50, 0], X[:50, 1], color='r', s=50, marker='x', label='山鸢尾')
plt.scatter(X[50:100, 0], X[50:100, 1], color='b',
s=50, marker='o', label='杂色鸢尾')
plt.xlabel('花瓣长度（cm）', fontproperties=font)
plt.ylabel('花瓣宽度（cm）', fontproperties=font)
plt.legend(prop=font)
plt.show()
构造决策边界
边界函数即的之前提及的代价函数，通过决策边界将鸢尾花数据正确的分为两个类别。
def plot_decision_regions(X, y, classifier, resolution=0.02):
# 构造颜色映射关系
marker_list = ['o', 'x', 's']
color_list = ['r', 'b', 'g']
cmap = ListedColormap(color_list[:len(np.unique(y))])
# 构造网格采样点并使用算法训练阵列中每个元素
x1_min, x1_max = X[:, 0].min() - 1, X[:, 0].max() + 1 # 第0列的范围
x2_min, x2_max = X[:, 1].min() - 1, X[:, 1].max() + 1 # 第1列的范围
t1 = np.linspace(x1_min, x1_max, 666) # 横轴采样多少个点
t2 = np.linspace(x2_min, x2_max, 666) # 纵轴采样多少个点
# t1 = np.arange(x1_min, x1_max, resolution)
# t2 = np.arange(x2_min, x2_max, resolution)
x1, x2 = np.meshgrid(t1, t2) # 生成网格采样点
# y_hat = classifier.predict(np.array([x1.ravel(), x2.ravel()]).T) # 预测值
y_hat = classifier.predict(np.stack((x1.flat, x2.flat), axis=1)) # 预测值
y_hat = y_hat.reshape(x1.shape) # 使之与输入的形状相同
# 通过网格采样点画出等高线图
plt.contourf(x1, x2, y_hat, alpha=0.2, cmap=cmap)
plt.xlim(x1.min(), x1.max())
plt.ylim(x2.min(), x2.max())
for ind, clas in enumerate(np.unique(y)):
plt.scatter(X[y == clas, 0], X[y == clas, 1], alpha=0.8, s=50,
c=color_list[ind], marker=marker_list[ind], label=clas)
训练模型
可以看出模型在第6次迭代的时候就已经收敛了，即可以对数据正确分类。
perceptron = Perceptron(learning_rate=0.1, num_iter=10)
perceptron.fit(X, y)
plt.plot(range(1, len(perceptron.errors_) + 1), perceptron.errors_, marker='o')
plt.xlabel('迭代次数', fontproperties=font)
plt.ylabel('更新次数', fontproperties=font)
plt.show()
可视化
plot_decision_regions(X, y, classifier=perceptron)
plt.xlabel('花瓣长度（cm）', fontproperties=font)
plt.ylabel('花瓣宽度（cm）', fontproperties=font)
plt.legend(prop=font)
plt.show()
