神经网络与深度学习-邱锡鹏-学习笔记4

 

 

 

 

 

 

 

 

 

注解：

1.建立一个从像素到语义的映射其实是很困难的。

 

 注解：

1.一般性，指的是泛化能力。

 

 注解：

1.one-hot编码，也叫独热编码。

2.局部表示：一个4维向量，每个独立的维度都表示一个语义。如[1 0 0 0]表示A。

3.分布式表示：两个维度合起来共同表示一个语义，如[0.25,0.5]表示A。

 

 注解：

1.局部表示：表示能力差，但是好理解，是可解释的，解释能力强（每一维都对应一个负号）。

2.分布式表示：表示能力强，但是不好理解，解释能力差。

 

 

 

注解：

1.局部表示可以映射成分布式表示。

2.局部表示都位于坐标轴上，可以映射到一个平面上，这个平面叫做嵌入空间。

3.这样映射过来的分布式表示叫做嵌入。

 

 注解：

1.在这个语义空间中，相似的次会靠的比较近。

2.语义空间中的某些区域表示地名，某些区域表示情感。

 

 

 

 

 

 

注解：

1.特征提取对于后面的分类器来说，不确定提取的特征是不是分类器需要的。

2.表示学习就是所谓的端到端的学习。