机器学习中的分类

一、无监督学习（unsupervised learning）

训练样本的标记信息未知，目标是通过对无标记训练样本的学习来揭示数据的内在性质及规律，为进一步的数据分析提供基础，此类学习任务中研究最多、应用最广的是"聚类" (clustering)。

二、监督学习（supervised learning）

通过已有的训练样本（即已知数据以及其对应的输出）去训练得到一个最优模型（这个模型属于某个函数的集合，最优则表示在某个评价准则下是最佳的），再利用这个模型将所有的输入映射为相应的输出，对输出进行简单的判断从而实现分类的目的，也就具有了对未知数据进行分类的能力。监督学习的数据中带有标记信息，分类和回归是监督学习的代表。

三、半监督学习（Semi-Supervised Learning）

训练集同时包含有标记样本数据和未标记样本数据，不需要人工干预，让学习器不依赖外界交互、自动地利用未标记样本来提升学习性能，就是半监督学习。半监督学习可进一步划分为纯半监督学习和直推学习。前者假定训练数据中的未标记样本并非待预测的数据，而后者则假定学习过程中所考虑的未标记样本恰是待预测数据，换言之，纯半监督学习是基于"开放世界"假设，希望学得模型能适用于训练过程中未观察到的数据；而直推学习是基于"封闭世界"假设，仅试图对学习过程中观察到的未标记数据进行预测。

四、自监督学习（Self-Supervised Learning）

自监督学习主要是利用辅助任务（pretext task）从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。辅助任务可以是一个预测类任务、生成式任务、对比学习任务。辅助任务的监督信息来源是从数据本身获得的。

五、深度学习（Deep Learning）

深度学习是一种机器学习方法，它作为人工神经网络可以根据学习过程中的示例数据来独立地构建（训练）出基本规则。尤其是在机器视觉领域，神经网络通常采用监督式学习的方法来训练，即通过示例数据和示例数据的预定义结果来进行训练。

六、强化学习（Reinforcement learning）

强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。换句话说：强化学习是一种学习如何从状态映射到行为以使得获取的奖励最大的学习机制。这样的一个agent需要不断地在环境中进行实验，通过环境给予的反馈（奖励）来不断优化状态-行为的对应关系。

七、集成学习(Ensemble learning）

集成学习通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统、基于委员会的学习等。集成算法就是这样一种算法，它本身不是一个单独的机器学习算法，或者说没有自身的机器学习思维，而是采用集成的方式来完成对数据或事物的学习、训练过程。

八、迁移学习（Transfer Learning）

迁移学习是指将经过一项任务训练的深度神经网络的知识“迁移”到训练相关任务的另一个网络的技术。例如，可以使用迁移学习来获取用于对象检测模型，然后使用少量数据对其进行“微调”来检测更具体的事物。在某些机器学习场景中，由于直接对目标域从头开始学习成本太高，因此我们期望运用已有的相关知识来辅助尽快地学习新知识。比如，已经会下中国象棋，就可以类比着来学习国际象棋；已经会编写Java程序，就可以类比着来学习C#；

给定源域 $D_{s}$ 和学习任务 $T_{s}$ 、目标域 $D_{t}$ 和学习任务 $T_{t}$ ,迁移学习的目的是获取源域 $D_{s}$ 和学习任务 $T_{s}$ 中的知识以帮助提升目标域中的预测函数 $f_{t}(\cdot)$ 的学习，其中 $D_{s}\ne D_{t}$ 或者 $T_{s}\ne T_{t}$ 。

领域(Domain): 是进行学习的主体。领域主要由两部分构成：特征空间X和生成这些数据的概率分布P(X)。通常我们用D来表示一个domain，用P来表示一个概率分布。特别地，因为涉及到迁移，所以对应于两个基本的领域：源领域 (Source Domain) 和目标领域 (Target Domain)。通常我们用Ds表示源领域，Dt表示目标领域。

任务(Task): 是学习的目标。任务主要由两部分组成：标记空间Y和标签对应的函数f。通常我们用Y来表示一个标签空间，用f(·)来表示一个学习函数。相应地，源领域和目标领域的任务就可以分别表示为Ts和Tt。