python机器学习的开发流程
标准机器学习的开发编程流程
关注公众号“轻松学编程”了解更多。
一、流程
标准机器学习的开发编程流程：
1、获取数据(爬虫、数据加载、业务部门获取)
2、数据建模(摘选样本数据(特征、目标))
3、数据清洗(异常值检测和过滤)
4、特征工程(归一化处理：提高算法模型的精度)
归一化目的：使得每种特征数据的量级(权重)保持大致一致
归一化方法(常用)：1.普通归一化处理 2. 区归一化 处理 3.使用函数
5、模型选择(分类、回归)
6、模型评估(打分，分类边界图，残差直方图)
7、算法调优(调整模型对象的参数值)
8、绘图
注意：以下命令都是在浏览器中输入。
cmd命令窗口输入：jupyter notebook
打开浏览器输入网址http://localhost:8888/
二、预测年收入是否大于50K美元
需求：读取adult.txt文件，最后一列是年收入，并使用KNN算法训练模型，然后使用模型预测一个人的年收入是否大于50 。
说明：获取年龄、教育程度、职位、每周工作时间作为机器学习数据 获取薪水作为对应结果 。
1、导包
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from pandas import DataFrame,Series
#创建K-近邻算法模型
from sklearn.neighbors import KNeighborsClassifier
#对模型进行评分
from sklearn.model_selection import train_test_split
#内嵌画图
%matplotlib inline
2、获取数据
data=pd.read_csv(r'./adults.txt')
3、数据建模
3.1 摘取特征数据
features=data[['age','education_num','occupation',
'hours_per_week']]
features.head()
由于特征数据中有字符串型数据，需要转换成实质性数据才能参与运算。
3.1.1 数据转换
将职业中的String类型数据转换为Number。
思路：
- 获取职业种类n，然后根据创建一个n行n列的对角矩阵；
- 对职业列表中的每一种职业进行映射，得到一个n列的一维数组；
- 把职业这一列拆分成n列；
- 把特征数据的所有列转换成m列1行的二维数组
- 把二维数组合并形成新的特征数据(模型运算时需要的是二维数组)
#获取特征数据中职业有几种
unique=features['occupation'].unique()
occ_size=unique.size
# 把df中的某一列字符串转成对角矩阵
dm=np.eye(occ_size)
def str2Num(occ):
global dm
#获取当前职业在数组unique中的下标
index=np.argwhere(occ==unique)[0][0]
return dm[index]
#对职业进行映射
features['occupation']=features.occupation.map(str2Num)
features.head()
#features['occupation'].unique().size的值为15
# occupation现在是一个1行15列的一维数组，把occupation分拆成15列，
#然后把每一列级联
occ1=features['occupation'][0]
for item in features['occupation'][1:]:
occ1=np.concatenate((occ1,item))
#转成二维数组
occupation=occ1.reshape(-1,15)
ages=features['age'].reshape(-1,1)
education_nums=features['education_num'].reshape(-1,1)
hours_per_week=features['hours_per_week'].reshape(-1,1)
#把每一列级联
new_features=np.hstack((occupation,h_age_edu,hours_per_week))
new_features
3.2 摘取目标数据
target=data['salary']
target.head()
4、模型选择
选择分类模型来训练。
#random_state=1 : 固定随机状态种子
x_train,x_test,y_train,y_test=train_test_split(new_features,
target,
test_size=0.2,
random_state=1)
训练模型
#k先取值为5，可根据后面评分高低调优
knn=KNeighborsClassifier(n_neighbors=5)
#训练模型
knn.fit(x_train,y_train)
5、模型评分
#评分
knn.score(x_test,y_test)
6、算法调优(调整模型对象的参数值)
knn=KNeighborsClassifier(n_neighbors=20)
#训练模型
knn.fit(x_train,y_train)
#重新评分
knn.score(x_test,y_test)
7、预测
knn.predict(x_test)
后记
【后记】为了让大家能够轻松学编程，我创建了一个公众号【轻松学编程】，里面有让你快速学会编程的文章，当然也有一些干货提高你的编程水平，也有一些编程项目适合做一些课程设计等课题。
也可加我微信【1257309054】，拉你进群，大家一起交流学习。
如果文章对您有帮助，请我喝杯咖啡吧！
公众号
关注我，我们一起成长~~
