使用 信息论 (互信息) 处理科学问题的基本步骤是
1、构建状态空间;
状态空间的构建方法有很多种;等count、等宽度,...and so on;
2、计算不同状态的概率;
以频率,近似代替概率,所以要求实验的次数得尽可能得多;
3、计算 熵、或者互信息;
------
对基本概念的理解:
1、熵是 确定状态时需要的是否问题的平均数量;
2、信息的两个含义:
(1)、不确定性的减少;
(2)、两个概率分布之间的KL散度;
3、什么是互信息,
知乎: 衡量随机变量之间相互依赖程度的度量。
我的理解:一个变量携带了多少关于另外也给变量的信息?
或者说,两个变量之间的相互作用,有多大?
4、条件互信息,第三个变量的存在,可以增加前两个变量间的互信息;
5、部分信息分解(Partial information decomposition),这块讨论的是,对互信息的分解:
(互信息值得是,两个变量之间的相互作用;)
(1)、X1和X2之间是否有信息冗余?
(2)、X1和X2是否有独一无二的信息;unique
(3)、X1和X2一起协同的
6、信息论相关的软件包:
7、信息论应用到神经生物学的两个例子:
(1)最左边的是物理模型,最右边的是互信息的结果; 互信息在量化刺激的强度方面,没有建树;
(2)在两个神经元的例子中;需要考虑的是, 首先使用互信息来量化信息得传递;其次,使用转移熵,来量化突触携带信息量的转移;