武松数到五

导航

DNN原理探究系列之目录与序章篇

  • 序言:

神经网络结构,作为最成功的机器学习模型之一,其工作原理一直被埋藏得比较深,其解释性以至于被称为黑盒。

自己对于DNN的理解也只能算刚踏入了门槛,对于人脑的原理与DNN原理之间的互通性,一直是非常深信的,所以想一窥DNN成功背后的数学原理。

通过DNN原理探究系列博文,希望能总结归纳已经理解的知识点,梳理清楚知识点之间的关系结构,同时探讨各种流派对于DNN原理的解读。

目录会随着自己掌握的知识量逐渐扩展新的分支,以此记录自己的学习历程。

 

  • 当前知识结构树(2017-11-11)

 

分类器原理(softmax):

最大熵与玻尔兹曼分布

最大熵与最大似然的关联

能量模型与softmax

 

DNN结构与原理(神经元 + 权重 +非线激活):

结构的作用:

激活响应区域Partition,拟合任意函数

向量空间的变换Transformation

向量空间变换技巧:核方法

 

训练和结构参数的影响与作用:

SGD与收敛速度

信息瓶颈理论

隐层马尔科夫链的信息表述

信息压缩的必要性以及方法

 

 

posted on 2017-11-11 18:01  武松数到五  阅读(535)  评论(0编辑  收藏  举报