B-概率论-贝叶斯决策

目录

• 贝叶斯决策
• 一、贝叶斯决策理论
• 二、贝叶斯公式
  • 2.1 从条件概率公式推导贝叶斯公式
  • 2.2 从全概率公式推导贝叶斯公式
• 三、贝叶斯公式应用

更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：https://www.cnblogs.com/nickchen121/p/11686958.html

贝叶斯决策

一、贝叶斯决策理论

贝叶斯决策理论：在不完全情报下，对部分未知的状态用主观概率估计。

二、贝叶斯公式

2.1 从条件概率公式推导贝叶斯公式

若果A$A$和B$B$相互独立，则有p(A,B)=p(A)p(B)$p(A,B)=p(A)p(B)$，并有条件概率公式

p(A|B)=p(A,B)p(B)p(B|A)=p(A,B)p(A)$$\begin{gathered} p(A|B)=\frac{p(A,B)}{p(B)} \\ p(B|A)=\frac{p(A,B)}{p(A)} \end{gathered}$$

通过条件概率可得

p(A,B)=p(B|A)p(A)p(A|B)=p(B|A)p(A)p(B)简写的贝叶斯公式$$\begin{gathered} p(A,B)=p(B|A)p(A) \\ p(A|B)=\frac{p(B|A)p(A)}{p(B)}\text{简写的贝叶斯公式} \end{gathered}$$

p(A|B)$p(A|B)$：后验概率，B发生的情况下发生A的概率，需要计算的概率

p(B|A)$p(B|A)$：似然度，A假设条件成立的情况发生B的概率

p(A)$p(A)$：A的先验概率，也可以理解成一般情况下A发生的概率

p(B)$p(B)$：标准化常量，也可以理解成一般情况下B发生的概率

2.2 从全概率公式推导贝叶斯公式

全概率公式

p(B)=∑i=1np(B|A=Ai)p(Ai)其中∑i=1np(Ai)=1$$p(B)=\sum _{i=1}^{n}p(B|A=A_i)p(A_i)\text{其中}\sum _{i=1}^{n}p(A_i)=1$$

通过全概率公式可得

p(A|B)=p(B|A)p(A)∑ni=1p(B|A=Ai)p(Ai)完整的贝叶斯公式$$p(A|B)=\frac{p(B|A)p(A)}{\sum _{i=1}^{n}p(B|A=A_i)p(A_i)}\text{完整的贝叶斯公式}$$

三、贝叶斯公式应用

在数字通信中，由于随机干扰，因此接受的信号与发出的信号可能不同，为了确定发出的信号，通常需要计算各种概率。

如果发报机以0.6和0.4的概率发出信号0和1；

当发出信号0时，以0.7和0.2的概率收到信号0和1；

当发出信号1时，接收机以0.8和0.2收到信号1和0。

计算当接受机收到信号0时，发报机发出信号0的概率。

通过上述给出的数据可以得到以下推导

p(A0)=0.6$p(A_0)=0.6$：发报机发出信号0的概率

p(A1)=0.4$p(A_1)=0.4$：发报机发出信号1的概率

p(B)=p(A0)p(B|A0)+p(A1)p(B|A1)$p(B)=p(A_0)p(B|A_0)+p(A_1)p(B|A_1)$：发报机接收到信号0的概率

p(B|A0)=0.7$p(B|A_0)=0.7$：发报机发出信号0接收到信号0的概率

p(B|A1)=0.2$p(B|A_1)=0.2$：发报机发出信号1接收到信号0的概率

p(A0|B)=p(B|A0)p(A0)p(A0)p(B|A0)+p(A1)p(B|A1)=0.6∗0.70.6∗0.7+0.4∗0.2=0.420.50=0.84(1)(2)(3)(4)$$\begin{array}{}\text{(1)}& p(A_0|B)& =\frac{p(B|A_0)p(A_0)}{p(A_0)p(B|A_0)+p(A_1)p(B|A_1)}\text{(2)}& & =\frac{0.6\ast 0.7}{0.6\ast 0.7+0.4\ast 0.2}\text{(3)}& & =\frac{0.42}{0.50}\text{(4)}& & =0.84\end{array}$$