概率的基本概念

1 概率是什么

概率是表示某种情况（事件）出现的可能性大小的一种数量指标，它介于0与1之间。

1.1 主观概率

凭着经验和知识对事件发生的可能性作出的一种主观估计，主观概率可以理解为一种心态或倾向性。

这里的某种事件后面即定义为随机事件，所谓“随机事件”，即它的结果具有偶然性。

1.2 古典概率的定义

假定某个试验有有限个可能的结果 $e_{1}, e_{2}, \dots, e_{N}$ 。假定从该试验的条件及实施方法去分析，我们找不到任何理由认为其中某一结果，例如 $e_{i}$ ，比任一其他结果，例如 $e_{j}$ ，更具有优势（即更倾向于易发生），则我们只好认为，所有结果 $e_{1}, e_{2}, \dots, e_{N}$ 在试验中有同等可能的出现机会，即 $1 / N$ 的出现机会。常常把这样的试验结果称为“等可能的”。

设一个试验有 $N$ 个等可能的结果，而事件 $E$ 恰包含中的 $M$ 个结果，则事件 $E$ 的概率，记为 $P (E)$ ，定义为：

P (E) = M / N

上面的古典定义它只能用于全部试验结果为有限个，且等可能性成立的情况，某些情况下，这个概念可以引申到试验结果有无限多的情况。

古典概率的核心实际上就是"数数"，首先数样本空间中基本事件的个数 $N$ ，再数事件 $A$ 包含的基本事件个数 $M$

1.3 几何概率

甲、乙二人约定1点到2点之间在某处碰头，约定先到者等候10分钟即离去。设想甲、乙二人各自随意地在1-2点之间选一个时刻到达该处，问“甲乙二人能碰上”这事件 $E$ 的概率是多少？

如果我们以一个坐标系来代表所有事件发生的平面，则 $x$ 轴代表甲出发的时刻， $y$ 轴代表乙出发的时刻，如果甲乙能碰上则必须满足：

| x - y | < 10

可以计算在坐标轴平面上，满足上面不等式的区域的面积。

几何概率的基本思想是把事件与几何区域对应，利用几何区域的度量来计算事件发生的概率。

1.4 概率的频率定义方法

1）与考察事件A有关的随机现像可大量重复进行

2）在 $n$ 次重复试验中，记 $n (A)$ 为事件 $A$ 出现的次数，又称 $n (A)$ 为事件 $A$ 的频数。称 $f_{n} (A) = \frac{n (A)}{n}$ 为事件 $A$ 出现的频率。

3）人们的长期实践表明：随着试验重复次数 $n$ 的增加，频率 $f_{n} (A)$ 会稳定在某一常数 $a$ 附近，我们称这个常数为频率的稳定值。这个频率的稳定值就是我们所求的概率。

2 古典概率的计算

2.1 两个原理

1）乘法原理

如果某件事需经过 $k$ 个步骤才能完成，做第一步有 $m_{1}$ 种方法，做第二步有 $m_{2}$ 种方法……做第 $k$ 步有 $m_{k}$ 种方法，那么完成这件事共有 $m_{1} \times m_{2} \times \dots \times m_{k}$ 种方法。

2）加法原理

如果某件事可由 $k$ 类不同途径之一去完成，在第一类途径中有 $m_{1}$ 种完成的方法，在第二类途径中有 $m_{2}$ 种完成的方法……在第 $k$ 类途径中有 $m_{k}$ 种完成的方法，那么完成这件事共有 $m_{1} + m_{2} + \dots + m_{k}$ 种方法。

2.2 排列与组合

按照古典概率公式的定义，古典概率的计算归结为计算两个数 $M$ 和 $N$ 。这种计算大多数涉及排列组合。二者的区别在于，排列要计较次序而组合不计较：ab和ba是不同的排列，但是是相同的组合。

排列： $n$ 个相异物件取 $r$ 个( $1 \leq r \leq n$ )的不同排列总数为

P n r = n (n - 1) (n - 2) \dots (n - r + 1)

特别地，当 $n = r$ 时，得到 $P_{r}^{r} = r (r - 1) \dots 1 = r!$ ，称为 $r$ 的一个全排列。

组合： $n$ 个相异物件取 $r$ 个( $1 \leq r \leq n$ )的不同组合总数为

C n r = P n r / r! = n! / (r! (n - r)!)

有些书中把记号 $C_{r}^{n}$ 写为 $C_{n}^{r}$ 。 $C_{r}^{n}$ 的一个更通用的记号是 $(\begin{matrix} n \\ r \end{matrix})$ 。我们后面将用 $(\begin{matrix} n \\ r \end{matrix})$ 取代 $C_{r}^{n}$ 。我们很容易推导出 $(\begin{matrix} n \\ 0 \end{matrix}) = 1$ 且有，

(n r) = n (n - 1) \dots (n - r + 1) / r!

2.3 与二项式展开的关系

组合系数 $(\begin{matrix} n \\ r \end{matrix})$ 又常称为二项式系数，因为它出现在下面熟知的二项式展开的公式中：

(a + b) n = \sum i = 0 n (n r) a i b n - i

这面这个公式的证明很简单：因为， $(a + b)^{n} = (a + b) (a + b) \dots (a + b)$ .为了产生 $a^{i} b^{n - i}$ 这一项，在这 $n$ 个 $(a + b)$ 中，要从其中的 $i$ 个取出 $a$ ，另 $n - i$ 个取出 $b$ 。从 $n$ 个中取出 $i$ 个的不同取法为 $(\begin{matrix} n \\ r \end{matrix})$ ，这也就是 $a^{i} b^{n - i}$ 这一项的系数。

2.4 分堆问题

$n$ 个相异物件分成 $k$ 堆，各堆物体数分别为 $r_{1}, r_{2}, \dots, r_{k}$ 的分法是

n ! r 1 ! \dots r k !

此处 $r_{1}, r_{2}, \dots, r_{k}$ 都是非负整数，其和为 $n$

举个例子：共有n双各异的鞋子一共2n只，把它们随机分为n堆，每堆2只，求恰好每堆鞋子组成一双的概率：

先求所有可能的分法，按上面的公式，可以得出一共有 $(2 n)! / 2^{n}$ 种分法，而如果把每一双鞋子看成一个物体，则n个物体的全排列为n!种，所以最终的概率为 $\frac{2^{n} n!}{(2 n)!}$

古典概率的计算基本都涉及到排列组合问题，这类问题可能情况很复杂，设计的很难，所以不用花太多时间在古典概率的计算上。

3 事件的运算

3.1 事件的蕴含、包含及相等

在同一试验下的两事件 $A$ 和 $B$ ，如果当 $A$ 发生时 $B$ 必发生，则称 $A$ 蕴含 $B$ ，或者说 $B$ 包含 $A$ ，记为 $A \subset B$ 。若 $A, B$ 互相蕴含，即 $A \subset B$ 且 $B \subset A$ ，则称 $A, B$ 两事件相等，记为 $A = B$ 。

如下图中所示，方框如果是一个靶，则如果击中了A，则一定击中了B。A和B相比A更难发生一些，因而其概率就必然小于至多等于B的概率。

3.2 事件的互斥和对立

若两件事A和B不能在同一次试验中都发生（但可以都不发生），则称它们是互斥的。如果一些事件中任意两个都互斥，则称这些事件是两两互斥的，或简称互斥的。

任何一个样本空间，它的基本事件之间都是彼此互斥的。值得注意的事，互斥事件一定是在同一个试验下的，可能出现的不同的结果。这两个事件是对这个试验结果不同可能性的描述。

如掷一个骰子时，掷出1点和掷出2点这两个事件就是互斥的，它两不可能同时发生，但可以都不发生。

互斥事件一个重要的情况是“对立事件”，若A为一事件，则事件 $B = {A 不发生}$ 称为A的对立事件，多记为 $\bar{A}$ （也记为 $A_{c}$ ）。

如掷一个骰子时，掷出是奇数点与掷出是偶数点就是对立事件。

这里注意区分对立事件与互斥事件！

3.3 事件的和

设有两事件A，B，定义一个新事件C如下：

$C = {A 发生，或 B 发生} = {A, B 至少发生一个}$

这样定义的事件C称为A与事件B的和，记为 $C = A + B$ 。

推广到多个事件的情形，设有若干个事件 $A_{1}, A_{2}, \dots, A_{n}$ 。它们的和A，定义为事件

$A = {A_{1} 发生，或 A_{2} 发生， \dots ，或 A_{n} 发生} = {A_{1}, A_{2}, \dots, A_{n} 至少发生一个}$

3.4 概率的加法定理

公理

若干个互斥事件之和的概率，等于各事件的概率之和：

P (A 1 + A 2 + \dots) = P (A 1) + P (A 2) + \dots

推论

以 $\bar{A}$ 表示A的对立事件，则

P (A ¯) = 1 - P (A)

3.5 事件的积、事件的差

设有两件事A，B，则如下定义的事件C

C = {A, B 都 发 生}

多个事件 $A_{1}, A_{2}, \dots$ （有限或无限个都可以）的积的定义类似： $A = {A_{1}, A_{2}, \dots 都发生}$ ，记为 $A = A_{1} A_{2} \dots$ ，或 $\prod_{i = 1}^{n} A_{i}$

两个事件A,B之差，记为 $A - B$ ，定义为：

A - B = {A 发 生 ， B 不 发 生} = A B ¯

4 条件概率与独立性

4.1 条件概率的定义

设有两事件A,B而 $P (B) \neq 0$ 。则“在给定B发生的条件下A的条件概率”，记为 $P (A | B)$ ，定义为

P (A | B) = P (A B) / P (B)

思考：有三张牌，第一张牌两面都是一个实心点，第二张牌一面为一实心点，一面为一空心点；第三张牌两面都是空心点。现在随机从3张中抽一张牌，而且它的一面是实心点，那么这张牌另一面也是实心点的概率是多少？

4.2 事件的独立性，概率乘法定理

设有两事件 $A, B$ ， $A$ 的无条件概率 $P (A)$ 与其在给定 $B$ 发生之下的条件概率 $P (A | B)$ ，一般是有差异的。这反映了这两事件之间存在着一些关联。例如，若 $P (A | B) > P (A)$ ，则B的发生使A发生的可能性增大了：B促进了A的发生。

反之，若 $P (A | B) = P (A)$ ，则B的发生与否对A发生可能性毫无影响。这时在概率论上就称A，B两事件独立。我们很容易得到

P (A B) = P (A) P (B)

对于满足上面公式的两件事件A，B，称A，B独立。上面的公式也即为概率的乘法定理。

判断事件是相互独立，有时并不是通过上面的公式去判定。

假设掷3个骰子，定义下面两个事件A和Ｂ。A＝{至少有一个骰子掷出１}，事件B＝｛三个骰子掷出的点数中至少有两个一样｝，问A，B是否独立？

初看往往会觉得A与B独立，因为一个关心的是掷出的点数，另一个是掷出的同样性（不关心点数是多少）。也就是有没有掷出1好像对事件B没有利也没有害。

换一个角度，考虑A的对立事件，即没有一个骰子掷出1，说明三个骰子掷出的点数为{2,3,4,5,6}那么，事件B中，每个骰子最多只有5个结果了，相比原来少了一种可能性，那么显然B事件发生最终的概率也变了。

若干个独立事件 $A_{1}, A_{2}, \dots$ 为有限或无限个事件。如果从其中任意取出有限个 $A_{i_{1}}, A_{i_{2}}, \dots, A_{i_{m}}$ 都成立

P (A i 1 A i 2 \dots A i m) = P (A i 1) P (A i 2) \dots P (A i m)

则称事件 $A_{1}, A_{2}, \dots$ 相互独立。也就是说，对一任意一件事A，其他事件的发生与否对事件A的发生没有影响。

若干个独立事件 $A_{1}, \dots, A_{n}$ 之积的概率，等于各事件概率的乘积：

P (A 1 \dots A n) = P (A 1) \dots P (A n)

乘法定理的作用与加法定理一样：把复杂事件的概率的计算归结为更简单的事件概率的计算，这当然要有条件，相加是互斥，相乘是独立。

4.3 全概率公式与贝叶斯公式

全概率公式

设 $B_{1}, B_{2}, \dots$ 为有限个或无限个事件，它们两两互斥且在每次实验中至少发生一个，用式表示之，即

B i B j = \emptyset （ 不 可 能 事 件 ） ， 当 i \neq j B 1 + B 2 + \dots = Ω （ 必 然 事 件 ）

有时把具有这些性质的一组事件称为一个“完备事件群”。注意，任一事件B及其对立事件组成一个完备事件群。

现在考虑任一事件A，因为 $Ω$ 为必须事件，有 $A = A Ω = A B_{1} + A B_{2} + \dots$ 。因为 $B_{1} B_{2}, \dots$ 两两互斥，显然 $A B_{1}, A B_{2}, \dots$ 也两两互斥。根据加法定理有

P (A) = P (A B 1) + P (A B 2) + \dots

再由条件概率的定义，有 $P (A B_{i}) = P (B_{i}) P (A | B_{i})$ ，代入上式得

P (A) = P (B 1) P (A | B 1) + P (B 2) P (A | B 2) + \dots

上面的公式即为全概率公式。

实用意义：在较复杂的情况下直接算 $P (A)$ 不易，但A总是随着某个 $B_{i}$ 伴出，适当去构造这一组 $B_{i}$ 往往可以简化计算。

我们可以把 $P (B_{i})$ 看成权重，则全概率公式则为条件概率的加权。

贝叶斯公式

在全概率公式的假定之下，有

P (B i | A) = P (A B i) / P (A) = P ( B i ) P ( A | B i ) \sum j P ( B j ) P ( A | B j )

上面就是著名的贝叶斯公式。

意义：先看 $P (B_{1}), P (B_{2}), \dots$ ，它是没有进一步的信息（不知事件A是否发生）的情况下，人们对事件 $B_{1}, B_{2}, \dots$ 发生可能性大小的认识。现在有了新的信息（知道A发生），人们对 $B_{1}, B_{2}, \dots$ 发生可能性大小有了新的估价。

如果我们把事件A看成“结果”，把诸事件 $B_{1}, B_{2}, \dots$ 看成导致这结果的可能的“原因”，则可以形象地把全概率公式看作为“由原因推广结果”；而贝叶斯公式则恰好相反，其作用在于“由结果推原因”：现在有一个“结果A已发生了”，在众多可能的原因中，到底哪一个导致了这结果？贝叶斯公式说，各原因可能性大小与 $P (B_{i} | A)$ 成比例。

出处：http://www.cnblogs.com/ronny/p/3345900.html

posted on 2018-02-01 15:07 jack_Meng 阅读(5018) 评论(0) 编辑收藏举报

刷新页面返回顶部

Jack_孟