机器学习介绍及基本概念

什么是机器学习？

机器学习技术的存在，使得人们可以享受强大的垃圾邮件过滤带来的便利，拥有方便的文字和语音识别软件，能够使用可靠的网络搜索引擎，同时在象棋的网络游戏对阵中棋逢对手，而且在可见的将来，我们将拥有安全高效的无人驾驶汽车。

分类：

　　监督学习（supervised learning）、无监督学习（unsupervised learning）和强化学习（reinforcement learning）。

监督学习：

　　监督学习的主要目的是使用有类标的训练（training）数据构建模型，我们可以使用经训练得到的模型对未来数据进行预测。此处，术语监督（supervised）是指训练数据集中的每个样本均有一个已知的输出项（类标（label））。

　　分为：分类和回归

分类

　　示例：检测垃圾邮件的例子是一个典型的二类别分类，此外还包含多分类（多标签）、多输出多分类

　　算法：

　　　　1.逻辑斯谛回归logistic 

　　　　2.SVM

　　　　3.决策树和随机森林

　　　　4.朴素贝叶斯

 　　　　5.KNN

　　　　6.神经网络

回归

　　针对连续型输出变量进行预测，也就是所谓的回归分析

　　例如，假定我们想预测学生SAT考试中数学科目的成绩。如果花费在学习上的时间和最终的考试成绩有关联，则可以将其作为训练数据来训练模型，以根据学习时间预测将来要参加考试的学生的成绩。

　　算法：

　　　　1.最小二乘

　　　　

无监督学习：

　　将处理无类标数据或者是总体分布趋势不明朗的数据。通过无监督学习，我们可以在没有已知输出变量和反馈函数指导的情况下提取有效信息来探索数据的整体结构。

　　算法：

　　　　1.聚类：

　　　　　　聚类是一种探索性数据分析技术。在没有任何相关先验信息的情况下，它可以帮助我们将数据划分为有意义的小的组别（即簇（cluster））。对数据进行分析时，生成的每个簇中其内部成员之间具有一定的相似度，而与其他簇中的成员则具有较大的

　　　　　　不同，这也是为什么聚类有时被称为“无监督分类”。聚类是获取数据的结构信息，以及导出数据间有价值的关系的一种很好的技术，例如，它使得市场人员可以基于用户的兴趣将其分为不同的类别，以分别制定相应的市场营销计划。

　　　　2.数据压缩中的降维

　　　　　　数据降维（dimensionality reduction）是无监督学习的另一个子领域。通常，我们面对的数据都是高维的（每一次采样都会获取大量的样本值），这就对有限的数据存储空间以及机器学习算法性能提出了挑战。

　　　　　　无监督降维是数据特征预处理时常用的技术，用于清除数据中的噪声，它能够在最大程度保留相关信息的情况下将数据压缩到一个维度较小的子空间，但同时也可能会降低某些算法在准确性方面的性能。

强化学习：

　　强化学习的目标是构建一个系统（Agent），在与环境（environment）交互的过程中提高系统的性能。

　　环境的当前状态信息中通常包含一个反馈（reward）信号，我们可以将强化学习视为与监督学习相关的一个领域。然而，在强化学习中，这个反馈值不是一个确定的类标或者连续类型的值，而是一个通过反馈函数产生的对当前系统行为的评价。

　　通过与环境的交互，Agent可以通过强化学习来得到一系列行为，通过探索性的试错或者借助精心设计的激励系统使得正向反馈最大化。

　　示例：象棋对弈的游戏。

　　算法：

　　　　1.策略梯度　　

　　　　2.深层Q网络（DQN）

 

机器学习流程：

　　1.数据预处理：特征抽取、特征选择、缺失值填充

　　2.训练模型

　　3.微调模型（网格搜索）

　　4.完成，模型预测

批量学习和在线学习：

　　如果你想让一个批量学习系统明白新数据（例如垃圾邮件的新类型），就需要从头训练一个系统的新版本，使用全部数据集（不仅有新数据也有老数据），然后停掉老系统，换上新系统。

　　在在线学习中，你可以循序渐进地给系统提供训练数据，逐步积累学习成果。这种提供数据的方式可以是单独的，也可以采用小批量（mini-batches）的小组数据来进行训练。