摘要：
参考这篇文章： https://zhuanlan.zhihu.com/p/24337627 有研究表明深度模型具有较大的信息参数冗余。因此我们可以通过一定的技术方法对复杂的模型进行去冗余压缩。现有的压缩方法主要可以下四类： 浅层网络：通过设计一个更浅（层数较少）结构更紧凑的网络来实现对复杂模型效果的 阅读全文
摘要：
前几天断更了，现在根据阅读的材料进行一些补充。 模型驱动 + 数据驱动 = 自然语言表示学习 sentiment classification entity extraction translation topic modeling 深度学习 = 表示学习 + 浅层学习 分布式表示：压缩、低维、稠密 阅读全文
摘要：
注意力机制中的软和硬 注意力机制是当前深度学习领域比较流行的一个概念。其模仿人的视觉注意力模式，每次只关注与当前任务最相关的源域信息，使得信息的索取更为高效。 注意力机制已在语言模型、图像标注等诸多领域取得了突破进展。 注意力机制可分为软和硬两类： 软性注意力（Soft Attention）机制是指 阅读全文