python实现机器学习笔记
#课程链接 https://www.imooc.com/video/20165
一、机器学习介绍以及环境部署
1、机器学习介绍及其原理
1）什么是人工智能
人工智能就其本质而言，是机器对人的思维信息过程的模拟，让它能像人一样思考。根据输入信息进行模型结构、权重更新，实现最终优化
特点：信息处理、自我学习、优化升级。
2）核心方法
机器学习：一种实现人工智能的方法，使用算法来解析数据、从中学习，然后对真实世界中的事件做出决策和预测。比如垃圾邮件检测、房价预测。
深度学习：一种实现机器学习的技术，模仿人嘞神经网络，建立模型，进行数据分析。比如人脸识别、语义理解、无人驾驶。
3）主要类别
监督学习：基于数据及结果进行预测。一组输入数据对应一个正确的输出结果
非监督学习：从数据中挖掘关联性。不存在“正确的”答案
4）基本原理
监督学习核心步骤：1）使用标签数据训练机器学习模型；2）调用训练好的机器学习模型，根据新的输入数据预测对应的结果
非监督学习：不需要标签数据，而是通过引入预先设定的优化准则进行模型训练，比如自动将数据分为三类
2、机器学习开发环境部署
1）python介绍
python是一种解释性的、面向对象的、移植性强的高级程序设计语言。
2）scikit-learn介绍
python语言中专门针对机器学习而发展起来的一款开源框架，可以实现数据预处理、分类、回归、降维、模型选择等常用的机器学习算法
3）Jupyter notebook介绍
它是一个开源的web应用程序，旨在方便开发者创建和共享代码文档。
4）环境部署
#第一步，安装python https://www.python.org/ #第二步，安装Anaconda https://www.anaconda.com/ #第三步，新建开发环境、安装numpy、scikit-learn库 conda create -n env_name pip(conda) install package_name -i source_address
#第四步，Jupter notebook界面优化
https://github.com/dunovank/jupter-themes
二、机器学习编程实战
3、机器学习实现之数据预处理
1）Iris数据集
Iris鸢尾花数据集是一个经典数据集，属于监督式学习应用：根据花的四个特征预测鸢尾花卉属于哪一品种。
2）使用scikit-learn进行数据处理的关键
区分属性数据与结果数据；属性数据与结果数据都是量化的；运算过程中，属性数据与结果数据的类型都是Numpy数组；属性数据与结果数据的维度是对应的
3）代码
#iris数据加载 from sklearn import datasets iris = datasets.load_iris() 展示iris数据 print(iris.data) print(iris.feature_names) print(iris.target) print(iris.target_names) print(type(iris.data)) print(type(iris.target)) print(iris.data.shape) #x输入数据赋值，y输出数据赋值 x = iris.data y = iris.target print(x) print(y)
4、机器学习实现之模型训练
1）分类问题介绍
定义：根据数据集目标的特征或属性，划分到已有的类别中，常用的分类算法：KNN、逻辑回归、决策树、朴素贝叶斯
2）KNN模型
给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最相邻的k个实例，这k个实例的多数属于某个类，就把该输入实例分类到这个类中
3）代码
#导入iris数据集 from sklearn import datasets iris = datasets.load_iris() #样本数据与结果分别赋值到x,y x = iris.data y = iris.target #确认样本与输出数据维度 print(x.shape) print(y.shape) ''' 使用scikit-learn建模四步骤 1、调用需要使用的模型类 2、模型初始化 3、模型训练 4、模型预测 ''' from sklearn.neighbors import KNeighborsClassifier knn = KNeighborsClassifier(n_neighbors=1) print(knn) knn.fit(x,y) knn.predict([[1,2,3,4]]) x_test = [[1,2,3,4],[2,4,1,2]] knn.predict(x_test) #可设置新的k值
5、机器学习实现之模型评估（一）
1）评估流程
<1>将整个数据集用于训练与测试:1'使用整个数据集进行模型训练；2'使用相同的数据集进行测试，并通过对比预测结果与实际结果来评估模型表现
准确率：正确预测的比例；用于评估分类模型表现的常用指标
缺点：1'训练模型的最终目标是为了预测新数据对应的结果；2'最大化训练准确率通常会导致模型复杂化（比如增加维度），因此将降低模型的通用性；3'过度复杂模型容易导致训练数据的过度拟合
<2>分离训练数据与测试数据：1'把数据分成两部分：训练集、测试集；2'使用训练集数据进行模型训练；3'使用测试集数据进行预测，从而评估模型表现
优点：1'可实现在不同数据集上进行模型训练和预测；2'建立数学模型的目的是对新数据的预测，基于测试数据计算的准确率能有效地评估模型表现
2）模型关键参数选择
目标：确定合适的参数组，提高模型预测准确率
方法：
1、遍历参数组合，建立对应的模型
2、使用训练集数据进行模型训练
3、使用测试集数据进行预测，评估每个模型表现
4、通过图形展示参数组与准确率的关系，确定合适的参数组
3）代码
#将整个数据集用于训练与测试
#数据加载 模型训练与预测 from sklearn import datasets iris = datasets.load_iris() x = iris.data y = iris.target from sklearn.neighbors import KNeighborsClassifier knn_5 = KNeighborsClassifier(n_neighbors= 5) knn_5.fit(x,y) y_pred = knn_5.predict(x) print(y_pred) print(y_pred.shape) #准确率计算 from sklearn.metrics import accuracy_score print(accuracy_score(y, y_pred)) #KNN(K=1) knn_1 = KNeighborsClassifier(n_neighbors = 1) knn_1.fit(x, y ) y_pred = knn_1.predict(x) print(accuracy_score(y, y_pred))
#分离训练数据与测试数据 #数据分离 from sklearn.model_selection import train_test_split x_train, x_test, y_train, y_test = train_test_split(x, y, test_size =0.4) #分离后数据集的维度确认 print(x_train.shape,x_test.shape,y_train.shape,y_test.shape) #分离后数据集的训练与评估 knn_5_s = KNeighborsClassifier(n_neighbors = 5) knn_5_s.fit(x_train, y_train) y_train_pred = knn_5_s.predict(x_train) y_test_pred = knn_5_s.predict(x_test) #分离后模型预测的准确率 print(accuracy_score(y_train,y_train_pred)) print(accuracy_score(y_test,y_test_pred))
6、机器学习实现之模型评估（二）
