BDA3 Chapter 1 Probability and inference
1. uncertainty
- aleatoric uncertainty 偶然不确定性
- epistemic uncertainty 认知不确定性
Pr(data|distribution); L(distribution|data);
The likelihood function is unnormalized probability distribution describing uncertainty related to \tita;
3. posterior distribution p(\thita|y)
mean: the posterior expectation of parameter.
variation;
median; 中位数
quantiles;
mode: the single 'most likely' value. 众数
4. 贝叶斯分析含义
贝叶斯分析是整个机器学习的基础框架， 它的思想之深刻远出一般人所认知的， 我们这里要从贝叶斯统计说起。
首先谈概率，概率这件事大家都觉得自己很熟悉， 叫你说概率的定义 ， 你却不一定说的出，我们中学课本里说概率这个东西表述是一件事发生的频率， 或者说这叫做客观概率。
而贝叶斯框架下的概率理论确从另一个角度给我们展开了答案， 他说概率是我们个人的一个主观概念， 表明我们对某个事物发生的相信程度。 如同Pierre Lapalace说的: Probability theory is nothing but common sense reduced to calculation. 这正是贝叶斯流派的核心，换句话说，它解决的是来自外部的信息与我们大脑内信念的交互关系。
两种对于概率的解读区别了频率流派和贝叶斯流派。如果你不理解主观概率就无法理解贝叶斯定律的核心思想。
1：先验概率P（A），2：条件概率P（B|A）， 3：后验概率P（A|B）。这三种即是贝叶斯统计的三要素。
基于条件概率的贝叶斯定律数学方程极为简单：
A即出轨， B是内裤出现， 你得到1，2，就可以根据公式算出根据内裤出现判断出轨的概率。
先验概率在贝叶斯统计中具有重要意义，首先先验概率即我们在取得证据之前所指定的概率P（A）， 这个值通常是根据我们之前的常识，带有一定的主观色彩。 就像刚刚说的出轨的问题， 你的先验概率代表了你对你男人的信心。
贝叶斯分析的思路对于由证据的积累来推测一个事物发生的概率具有重大作用， 它告诉我们当我们要预测一个事物， 我们需要的是首先根据已有的经验和知识推断一个先验概率， 然后在新证据不断积累的情况下调整这个概率。整个通过积累证据来得到一个事件发生概率的过程我们称为贝叶斯分析。
贝叶斯分析是整个机器学习的基础框架， 它的思想之深刻远出一般人所认知的， 我们这里要从贝叶斯统计说起。
首先谈概率，概率这件事大家都觉得自己很熟悉， 叫你说概率的定义 ， 你却不一定说的出，我们中学课本里说概率这个东西表述是一件事发生的频率， 或者说这叫做客观概率。
而贝叶斯框架下的概率理论确从另一个角度给我们展开了答案， 他说概率是我们个人的一个主观概念， 表明我们对某个事物发生的相信程度。 如同Pierre Lapalace说的: Probability theory is nothing but common sense reduced to calculation. 这正是贝叶斯流派的核心，换句话说，它解决的是来自外部的信息与我们大脑内信念的交互关系。
两种对于概率的解读区别了频率流派和贝叶斯流派。如果你不理解主观概率就无法理解贝叶斯定律的核心思想。
Supplementary knowledge:
1. 数学用语：
interval: 区间；
population: 总体；population parameter, 总体参数；
Θ θ 前者大写，后者小写；
References:
