李宏毅机器学习笔记13（Structured Learning）

 Structured Learning

1、什么叫结构化学习

2、结构化学习统一框架

3、结构化学习的三个问题

4、线性模型解决结构化学习的三个问题

 

1、什么叫结构化学习　

　　

　　  之前的input and output 都是vectors

　　  结构化学习：输入输出都是一种带有结构的对象（sequence,list,tree,bounding box）

 

　　      

 

　　　　结构化学习的应用：

 

                 

 

 

2、结构化学习统一框架

 　　

• 　Training阶段：就是找一个Ｆ来评估Ｘ与Ｙ的匹配程度。越匹配，R值越大。
•     Inference阶段：穷举所有的Ｙ，找到匹配程度最大的那个Ｙ

　　　　                 

 

 

　　　　　　举个栗子说明：

　　　　　目标检测：

 

　　　　　　                  

 

 　　　　　　摘要提取：

 

　　　　              

 

　　　　　　搜索：

 

　　　　               

 

　　

3、结构化学习的三个问题

 

　　第一个问题：F（x,y）长什么样子

　　

 

　　第二个问题：如何求最大化F时的y

　　

 

　　第三个问题：如何训练得到F

 

　　

　　　　　与DNN的联系：比如手写数字识别中，

　　　　

 

 4、线性模型解决结构化学习的三个问题

　　

　　　　解决第一个问题：

• 　用一组特征来描述(x,y)的pair，其中ϕ（x,y）​代表一种特征，可以用CNN训练得到

 　　
　　           

 

 

　　　　其他栗子：

　　　              

 

　　　　假设已经了解决第二个问题

 

　　　　

　　　　解决第三个问题：

•     给定一堆的training data，把w 学出来

　　　　               

 

　　　　

　　　　具体步骤：给定training data（x1，y^1）、（x2，y^2）、（x3，y^3）、（x4，y^4）

　　　Step1：求出使F（x,y）最大时的y~

　　　Step2：若y~！=y^，则更新w

 

　　　　

 

　　　　

　　　　我们的目标：

　　　　

 　　　　　过程：