随笔分类 - 概率论与统计学
摘要:
我们在上一篇博客中介绍了采用贝叶斯方法进行假设检验。其中,我们提到了公式:P(H | DX) = P(H | X)P(D | HX)/P(D | X),其中X为先验信息,H为待检验的假设,D为数据。该公式是我们试图从数据中得出结论的一大类科学推断问题背后的基本原理。在这一篇博客中,我们将看下采用贝叶斯方法进行的假设检验在实践中是如何表现的。我们将讨论一些概率论的“怪异”应用。所谓“怪异”,即“偏离常规”,没有正确地使用概率论导致了错误。大概任何全新的应用都必须经过这种类似的怪异探索阶段。在许多情况下,我们认为今天的怪异应用可能成为明天受人尊敬的有用应用。我们将会使用贝叶斯分析来重新考虑这些问题,并消除掉其中的“怪异”,获得一些有用的结论。
阅读全文

摘要:
我们在上一篇博客中介绍了传统的抽样理论。其中,我们导出了几种经典的抽样分布,也即给定关于所观察现象的假设H,数据D的概率分布p(D | H)。在上一篇博客中提到的伯努利坛子模型中,假设H即坛子的内容,数据D即重复抽球所生成的红球和白球序列。但正如我们我们在上一篇博客的末尾所述,几乎所有实际的科学推断问题都处在相反的使用场景:我们已知数据D,希望确定假设H。更一般地说,已知数据D,如何求概率分布p(H_1 | D), p(H_2 | D), ...,以指出给定假设{H_1, H_2, ...}中哪一个成立?例如,我们的假设可能是对生成数据的物理机制的各种推断。但是从根本上讲,物理因果关系不是问题的必要组成部分,重要的只是假设和数据之间有某种逻辑关系。我们将这类问题称为假设检验(hypothesis testing)。
阅读全文

摘要:
我们先考察无放回抽样(sampling without replacement) 实验,也即从有N个球的坛子里无放回地抽n个球,我们会发现实验结果服从超几何分布/广义超几何分布。接着,我们会讨论前向推断和后向推断两类问题。然后,我们会研究无放回抽样的极限形式,这将导出二项分布/多项分布。关于多项分布,我们还会进一步讨论统计力学中的麦克斯韦-玻尔兹曼统计。最后,我们会考察更复杂的有放回抽样(sampling with replacement) 实验,也即从有N个球的坛子里无放回地抽n个球。注意,与许多人认为的相反,我们认为无放回抽样更复杂,因为我们需要考虑大量的额外背景信息并进行分析。之所其二项分布的数学形式更简单,是由于我们做出了随机化的额外假设导致的,我们所得到的只是个近似的结果。最后,我们会对有放回抽样的近似结果做进一步的相关性校正,这将得到一个马尔可夫链模型。
阅读全文

摘要:
我们在上一篇博客中介绍了合情推理中所要满足的合情条件。在这一篇博客中我们将看到,上述条件皆不是空穴来风,而且不多不少刚刚好。一旦我们导出了满足上述合情条件的合情推理定量规则,我们就会发现,我们实际上就得到了概率的原始定义(乘法规则 + 加法规则 + 无差别原则)。其中,条件(Ⅰ)(Ⅱ)(Ⅲa)是机器人大脑的“结构性”条件,决定了推理机器人大脑的内部运作规则(这里的“大脑”可以指电路 / 神经网络 / ...),导出概率的乘法规则(product rule):p(AB | C) = p(A | C)p(B | AC)=p(B | C)p(A | BC)和加法规则(sum rule):p(A | B) + p(非A | B) = 1(p(x)是任意连续单调递增函数,值域为0 <= p(x) <= 1)而条件(Ⅲb)(Ⅲc)是“接口”条件,进一步建立了推理机器人与客观世界的联系。其中,(Ⅲc)导出概率的无差别原则(principle of indifference):p(A_i | B) = 1 / n, 1 <= i <= n。
阅读全文

摘要:
最近蔻享学术主办了每周一次的《概率论沉思录》读书会活动,恰好我也正在读该书中译版,通过该活动我了解到了不同学科的老师(数学/物理/统计/计算机)对这本书的不同理解,而我自己对该书的理解也在这个过程中逐渐深入了。于是准备每周都持续更新一下我的读书笔记。本书作者是一位物理学家,不同于基于Kolmogorov公理化概率论中先从概率空间和测度的定义入手来讲概率论,而是先从现实世界的经验背景入手提出合情推理和合情程度的概念,然后再介绍合情程度需要满足的定性条件(即合情条件),最后在此基础上推导出合情推理所要满足的定量规则,即乘法规则和加法规则(对应本书第1、2章的内容)。
阅读全文

摘要:
人类对客观世界的认识分为“先验”和“后验”。后验是指人类通过经验所产生的认识,而先验是指人类在经验之外通过自身的理性对客观世界的认识。先验和后验的概念贯穿了整个概率论与统计学。在统计学中由于对概率本身看法的不同,也分化为了频率学派和贝叶斯学派,他们的思想正好分别对应于哲学上的经验主义与理性主义。
阅读全文
