详解信息瓶颈理论中的信息压缩
摘要：
讲述信息瓶颈理论的核心：信息压缩 之前，需要熟悉交互信息与泛化误差两个概念，不熟悉的建议回顾一下之前的文章 从信息论的角度分析DNN的工作原理 以及 信息在DNN马尔科夫链结构上的变化 信息压缩主要是指在DNN的训练过程中，会在全部特征层，或是一部分特征层，尤其是靠近输出端的特征层上，在训练大部分后 阅读全文
posted @ 2017-12-14 11:15 武松数到五 阅读(3860) 评论(0) 推荐(1) 编辑