什么是机器学习？
1. 定义
1）from Arthur Samuel：Field of study that gives computers the ability to learn without being explicitly programmed.
即：不直接针对问题进行编程的情况下，赋予机器学习的能力。
2）from Tom Mitchell：A computer program is said to learn from experience E with respect to some task T and some performance measure P,
if its performance on T, as measured by P, improves with experience E.
即：解决问题 T 的程序能够通过对经验 E 的学习不断提高性能(由 P 度量)。
2. 机器学习的发展阶段
它的发展基本上有3个阶段：
a. 80年代，连接主义较为流行，代表性方法有感知机（Perceptron）和神经网络（Neural Network）。
b. 90年代，统计学习方法开始占据主流舞台，代表性方法有支持向量机（Support Vector Machine）。
c. 进入21世纪，深度神经网络被提出，随着数据量和计算能力的不断提升，以深度学习（Deep Learning）为基础的诸多AI应用逐渐成熟。
所以，人工智能是追求目标，机器学习是实现手段，深度学习是其中一种方法。
深度学习（Deep Learning）：是指多层神经网络上运用各种机器学习算法解决图像，文本等各种问题的算法集合。深度学习从大类上可以归入神经网络，
不过在具体实现上有许多变化。深度学习的核心是特征学习，旨在通过分层网络获取分层次的特征信息，从而解决以往需要人工设计特征的重要难题。
深度学习是一个框架，包含多个重要算法，如近几年比较火的卷积神经网络（CNN）。
3. 问题的常见类型
1）监督学习(Supervised learning)：we gave the algorithm a data set in which the "right answers" were given. 监督学习中的数据
集既有特征(feature)又有标签(label)，通过训练，让机器可以自己找到特征和标签("right answers")之间的联系，得到一个最优的模型，
在面对只有特征没有标签的数据时，可以判断出标签。
监督学习中每一个具体的输入由特征向量表示，记为
$$x_{i} = (x^{(1)},x^{(2)},...,x^{(n)})^{T}$$
$x^{i}$ 表示 $x$ 的第 $i$ 个特征，$x_{i}$ 表示第 $i$ 个输入变量(向量)。
训练集由输入输出对组成，
$$T = \left \{(x_{1},y_{1}),(x_{2},y_{2}),...,(x_{n},y_{n})\right \}$$
a. 回归问题(Regression)：Predict continuous valued output.即根据数据样本上抽取出的特征，预测一个连续值的结果。
它的输入变量和输出变量均为连续变量。常见的有：
i. 星爷《美人鱼》票房
ii. 大帝都2个月后的房价
b. 标注问题(tagging)：标注问题的输入是一个观测序列，输出的是一个标记序列或状态序列，即输出的也是一个向量。
i. 对一个单词序列预测其对应的词性标记序列。
c. 分类问题(Classification)：Predict a discrete valued output.即根据数据样本上抽取出的特征，判定其属于有限个类别中的哪一个。
它的输出变量为有限个离散变量。常见的有：
i. 垃圾邮件识别(结果类别：1、垃圾邮件 2、正常邮件)
ii. 文本情感褒贬分析(结果类别：1、褒 2、贬)
iii. 图像内容识别识别(结果类别：1、喵星人 2、汪星人 3、人类 4、草泥马 5、都不是)。
2）非监督学习(Unsupervised learning)：we gave the algorithm a data set in which the "right answers" were not given.即算法不知道数
据集中数据、特征之间的关系(无标签)，而是要根据聚类或一定的模型得到数据之间的关系。
a. 聚类问题(Clustering)：根据数据样本上抽取出的特征，让相关的样本在同一组内。
i. google的新闻分类
ii. 用户群体划分
4. 机器学习学习路线
