python 机器学习概述

1.1 人工智能概述

1.2 人工智能发展历程

　　1.图灵测试

　　2.达特矛斯会议（1956年，人工智能元年）

1.3 人工智能的主要分支

　　1.人工智能、机器学习和深度学习的关系

　　　　机器学习是人工智能的一个实现途径

　　　　深度学习是机器学习的一个方法发展而来

　　2.主要分支介绍

　　　　通讯、感知与行动是现代人工智能的三个关键能力。

　　分支一： 计算机视觉

　　　　计算机视觉（CV）是指机器感知环境的能力。这一个技术类别中的经典有图像形成、图像提取和图像的三维推理。物体检测和人脸识别是其比较成功的研究领域。

　　分支二： 语音识别

　　　　语音识别是指识别语音并将其转换成对应文本的技术。相反的任务（文本转语音）也是这一领域内一个类似的研究主题。语音识别领域仍然面临着声纹识别和鸡尾酒会效应等一些特殊情况的难题。现代语音识别系统严重依赖于云，在离线时可能就无法取得理想的工作效果。

　　分支三： 文本挖掘/分类

　　　　主要指文本分类，用于理解、组织和分类结构化或非结构化文档。

　　分支四： 机器翻译

　　　　利用机器的力量自动将一种自然语言的文本翻译成另一种语言。

　　分支五： 机器人

　　3.人工智能必备三要素

　　　　数据

　　　　算法

　　　　计算力

1.4 机器学习工作流程

1.什么是机器学习？

机器学习是从数据中自动分析获得模型，并利用模型对未知数据进行预测。

 2.机器学习的工作流程

 机器学习的工作流程：

　　1> 获取数据、

　　2> 数据基本处理

　　3> 特征工程

　　4> 机器学习（模型训练）

　　5> 模型评估

3.获取到的数据集介绍

专有名词

　　一行数据我们称为一个样本

　　一列数据我们称为一个特征

　　有些数据有目标值（标签值），有些数据没有目标值。

数据类型构成

　　类型一：特征值+目标值

　　　　目标值分为离散还是连续

　　类型二：只有特征值，没有目标值

数据划分

　　训练数据（训练集） -- 构建模型

　　　　0.7-0.8

　　测试数据（测试集）-- 模型评估

　　　　0.2-0.3

4.数据基本处理

　　对数据进行缺失值、去除异常值等处理

 5 特征工程

1.什么是特征工程

　　特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程。

　　意义：会直接影响机器学习的效果。

2.为什么需要特征工程

　　数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。

3.特征工程包含内容

　　特征提取

　　特征预处理

　　特征降维

　　3.1 特征提取

　　　　将任意数据转换为可用于机器学习的数字特征

　　3.2 特征预处理

　　　　通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程。

　　3.3 特征降维

　　　　指在某些限定条件下，降低随机变量（特征）个数，得到一组“不相关”主变量的过程。

6.机器学习

　　选择合适的算法对模型进行训练

7.模型评估

　　对训练好的模型进行评估

完整机器学习项目的流程（拓展阅读）

1.抽象成数学问题

　　明确问题是进行机器学习的第一步。机器学习的训练过程通常是一件非常耗时的事情，胡乱尝试时间成本是非常高的。

　　这里的抽象成数据问题，指的明确我们可以获取什么样的数据，抽取出的问题，是一个分类还是回归或者是聚类的问题。

2.获取数据

　　数据决定了机器学习结果的上限，而算法只是尽可能逼近这个上限。

　　数据要有代表性，否则必然会过拟合。

　　而且对于分类问题，数据偏科不能过于严重，不同类别的数据数量不要有数量级的差距。

　　而且还要对数据的量级有一个评估，多少个样本，多少个特征，可以估算出其对内存的消耗程度，判断训练过程中内存是否能够放得下。如果放不下就得考虑改进算法或者使用一些降维的技巧了。如果数据量实在太大，那就要考虑分布式了。

3.特征预处理与特征选择

　　良好的数据要能够提取出良好的特征才能真正发挥作用。

　　特征预处理、数据清洗是很关键的步骤，往往能够使得算法的效果和性能得到显著提高。归一化、离散化、因子化、缺失值处理、去除共线性等，数据挖掘过程中很多时间就花在它们上面。这些工作简单可复制，收益稳定可预期，是机器学习的基础必备步骤。

　　筛选出显著特征、摒弃非显著特征，需要机器学习工程师反复理解业务。这对很多结果有决定性的影响。特征选择好了，非常简单的算法也能得出良好、稳定的结果。这需要运用特征有效性分析的相关技术，如相关系数、卡方检验、平均互信息、条件熵、后验概率、逻辑回归权重等方法。

4.训练模型与调优

　　直到这一步才用到我们上面说的算法进行训练。现在很多算法都能够封装成黑盒供人使用。但是真正考验水平的是调整这些算法的（超）参数，使得结果变得更加优良。这需要我们对算法的原理有深入的理解。理解越深入，就越能发现问题的症结，提出良好的调优方案。

5.模型诊断

　　如何确定模型调优的方向与思路呢？这就需要对模型进行诊断的技术。

　　过拟合、欠拟合 判断是模型诊断中至关重要的一步。常见的方法如交叉验证，绘制学习曲线等，过拟合的基本调优思路是增加数据量，降低模型复杂程度。欠拟合的基本调优思路是提高特征数量和质量，增加模型复杂度。

　　误差分析也就是学习至关重要的步骤。通过观察误差样本全面分析产生误差的原因：是参数的问题还是算法选择的问题，是特征的问题还是数据本身的问题。

　　诊断后的模型需要进行调优，调优后的新模型需要重新进行诊断，这是一个反复迭代不断逼近的过程，需要不断地尝试，进而达到最优状态。

6.模型融合

　　一般来说，模型融合后都能使得效果有一定提升。而且效果很好。

　　工程上，主要提升算法准确度的方法是分别在模型的前端（特征清洗和预处理，不同的采集模式）与后端（模型融合）上下功夫，因为他们比较标准可复制，效果比价稳定，而直接调参的工作不会很多，毕竟大量数据训练起来太慢了，而且效果难以保证。

7.上线运行

　　这一部分内容主要跟工程实现的相关性比较大。工程上是结果向导。