贝叶斯公式与极大似然估计
积分符号只有下限是表示该变量的空间范围
记作x~f(x)
贝叶斯公式
乘法公式
AB同时发生的概率是 A发生的概率 乘 在A条件下B发生的概率。
反之，也是 B发生的概率 乘 在B发生条件下A发生的概率。
三个球：红，红，蓝
1 ， 2 ，1
摸到既是1又是红的球 的概率
全概率公式
可以理解为每一个都使用了乘法公式，B发生的概率即是Ai，B同时发生的概率 相加
贝叶斯公式
该公式就是求在B发生的条件下Ai发生的概率：即Ai,B同时发生的概率（通过乘法公式） 比上 B发生的概率（通过全概率公式可得分母的式子）
最大后验概率估计（MAP）
通过贝叶斯公式是求何种Ai 在B发生的条件下 发生的概率最大。
等价于求 是哪种Ai“最”可能导致B的发生
先验概率就是Ai发生的概率
后验概率就是在B发生的条件下Ai发生的概率（其中B是数据样本）
似然是在Ai发生条件下B发生的概率
贝叶斯估计与贝叶斯预测
贝叶斯估计就是 求
后验概率的分布
贝叶斯预测 就是根据贝叶斯估计所得的后验概率分布 作为求出预测值的参数 去计算在现有样本的情况（条件）下 继续出现事件x的概率情况/预测x会出现的概率。
贝叶斯预测就是 利用贝叶斯估计所得的概率分布 作为求出预测值的参数 去计算在现有样本的情况（条件）下 继续出现事件x的概率情况/预测x会出现的概率。
原理上和贝叶斯估计没有任何关系，只是利用贝叶斯估计的值能更简单求出贝叶斯预测的值。
最大似然估计（MLE)
模拟问题：
红、绿、蓝、黑四种颜色的球
四种颜色的球出现的概率是关于参数m的函数，记作fx1(m)，fx2(m)，fx3(m)，fx4(m)
样本：第一次抽到红色，第二次抽到蓝色，第三次抽到红色
这个样本出现的概率就是 G(M)=fx1(m)·fx3(m)·fx1(m)
公式理解：就是在给定m的概率情况下x样本发生的概率求最大似然估计
最大似然估计就是求 当m取何值时 G(M)能取最大值。
也就是何种有关m的概率分布最可能导致出现在的样本。
引入
是一种 参数估计
例子一
总体：
100个球:黑球θ个，白球100-θ个，
样本：
一个黑球
估计：
估计θ是99
例子二
总体：
学生：8:2 会8，不会2 或者不会2，会8
样本：
提问3个，全不会
估计
学生会8成，不会2成
P大的事件比P小的事件更容易发生
样本固定，事件A已经发生，
将使事件A发生的概率最大的参数值作为的估计值
目的/意义:
总体中的某个参数或者某些参数未知，通过样本进行对参数的估计。
例子
总体X是个泊松分布（x1，...，xn）为样本，求λ的极大似然估计
总体的概率函数为：
每天服务器遭受的攻击次数为样本：根据poisson分布，将平均遭受攻击的次数带入，就能求得遭受n次攻击的概率。
该概率是一个关于λ的函数
例如：推测在一天中服务器遭受攻击的次数为3次的概率，则需要将x=3带入poisson分布的概率函数，得到：
从中发现概率p中含有未知参数λ，也就是说每一个样本发生的概率都是一个关于λ的函数
从此可以推测出一天当中服务次遭受n次攻击的概率，为poisson分布带入1~n的概率和。
极大似然估计就是求当参数λ为何值时，能使总体样本发生的概率（也就是一天当中遭受几次攻击的概率）最大
泊松分布Poisson
满足条件
一个场景可以用泊松分布来描述, 需要满足三个条件
-
均值稳定. 即 λ在任意划定的单位时间长度内,应该是一个稳定的数值.
-
事件独立. 事件之间相互独立, 若相关, 则泊松分布失效.
-
在一个极小的时间内, 事件发生的次数应趋近于0. 比如说 产房平均 1 小时出生 3 个宝宝, 那我任意指定 1ms, 那这 1ms 内出生的宝宝数趋近于 0 .
1、写出总体的概率或密度函数
概率是离散的，密度是连续的
2、则λ的似然函数为
L(λ)=
3、两边取ln
4、对λ求导，令导数为0
例2
贝叶斯和极大似然估计的区别
案例：
极大似然估计
总体是：上海，北京，杭州，广州
来自上海，北京，杭州，广州攻击的概率是关于城市名的函数 f（城市名）或者p（城市名），其中，还有未知变量λ。例如f（城市名）=λ*（城市名）2+城市名，对应f（x）=ax2+x
样本是：x1=上海，x2=北京，x3=杭州，x4=上海，x5=广州
这个样本发生的概率p=p（上海，λ）·p（北京，λ）·p（杭州，λ）·p（上海，λ）·p（广州，λ）
该估计过程就是极大似然估计。
攻击来自哪个城市的概率是关于未知参数k的函数，只要将每个城市带k的概率乘在一起求使得该概率最大的k值就可解得一个 能估计一个来自哪个城市攻击概率的函数
贝叶斯是
攻击是来自哪个省的概率为，全国各省访问中是攻击的概率相加为分母，分子是访问是攻击和攻击来自一个省的概率的交集
