《机器学习基石》笔记（三）（台大林轩田版Lecture3

3.分别从{Y,yn,procol,X}角度对学习算法进行分类

3.1 根据输出的标签Y可以将学习算法分为二分类，多分类，回归，结构化学习四种类型。

{binary classification;multiclassification;regression;structured learning}，其中，二分类

和回归算法最常见。

structure learning 例子：

①识别句子是否为病句（涉及语法结合：自然语言处理？）（与序列结构有关）

②根据蛋白质成分折叠顺序的不同判断蛋白质的种类（与序列结构有关）

3.2 根据输入的标签yn是否已知，已知数量的多少可以将学习算法分为有监督学习，无监督

学习，半监督学习，强化学习。

{supervised learning;unsupercised learning;semi-supervised learning；reinforcement learning}。

强化学习（reinforcement learning）的例子：假如你要训练你的狗狗，需要将“sit down”这个语音命令

与“坐下”动作链接起来，但是狗狗不能理解“坐下”与“sit down”之间的关系。这个时候你能做的就是给出

“sit down” 命令，狗狗如果做出“打滚”动作，你进行惩罚，告诉狗狗这个链接是不对的；再给出“sit down”

命令，狗狗做出“仰面躺倒”动作，你进行惩罚，继续告诉狗狗这个链接不对；直到狗狗最终做出“坐下动作”，

你做出正确反馈（奖励食物之类），告诉狗狗这是对的。

3.3 根据机器对数据的不同读取方式protocol可以将算法分成批处理学习，在线学习，主动学习三种。

{batch learning;on-line learning;active learning}。

protocol数据读取方式有三种，分别是batch,online和active。batch表示机器一次性将数据全部读取，

训练后直接得出一个最好的预测函数g；online表示数据有序列地每次读取一部分（或一个），每次

都会根据读取的数据修正当前的g，迭代结束后得到一个最优的g。(可以类比之前的博客PLA的解释)。

active方式表示当机器不确定某数据x对应的y时，会主动地询问y的信息，active方式可以减少y的人工

标注工作。

【附：强化学习一般是online learning】

protocol含义如下图所示：

三种protocol读取数据的方式如下：

3.4 输入数据集X的特征形式通常可以分为三种，分别是{concrete feature；raw feature；abstract feature}，

concrete feature一般指具体可以量化的特征，比如说一个公司的净收入，收益增长率等；raw feature一般

可以是图像像素点信息，语音信息等；abstract feature一般指没有实际物理意义的特征，比如一个人的名字，

学号，ID等等。raw feature 和 abstract feature 在实际应用中一般会经过特征工程这一步骤，将其转化成

concrete feature。

具体例子如下：帮助理解concrete feature/raw feature/abstract feature

3.5 Lecture3 小结

 

参考资料：

1.B站《机器学习基石》林轩田版，https://www.bilibili.com/video/BV1Cx411i7op?p=10  p10~p13