机器学习概率论的一些基础知识

概率论的一些基础知识

条件概率

\(P(B|A) = \frac{1}{3}\) 表示的意思为当A发生的时候，B发生的概率

有公式

\[P(B|A) = \frac{P(AB)}{P(A)} \]

\[P(AB) = P(B|A)*P(A)=P(A|B)*P(B) \]

\[P(A|B) = \frac{P(B|A)*P(A)}{P(B)} \]

全概率公式

\(B_1,B_2,B_3\)……\(B_n\) 为样本空间的S的一个划分则可以得到
\(P(A) = P(B_1)P(A|B_1) + P(B_2)P(A|B_2)+…… P(B_n)P(A|B_n)= \sum_{i=0}^{n} P(B_i)P(A|B_i)\)

贝叶斯公式

\[P(B_i|A) = \frac{P(A|B_i)*P(B_i)}{\sum_{i=0}^{n}$P(A|B_i)} \]

关于贝叶斯公式的几个理解和解释

\[P(A|B) = \frac{P(B|A)*P(A)}{P(B)} \]

其中P(A)的概率为先验概率，这个在机器学习中通常指的是某个分类出现的概率>

P(B|A)为条件概率，就是在A类中B发生的概率

P(A|B)为后验概率，具体指的含义为：当B事件发生了，这个时候来自A分类的概率是多少。

极大似然估计 maximum-likelihood

原理

利用已知的样本结构，去反推最大可能导致这样结果的参数值。极大似然估计是建立在极大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。

由于样本集中的样本都是独立同分布，可以只考虑一类样本集D，来估计参数向量θ。记已知的样本集为：$$D={ x_1,x_2,x_3,……x_n }$$

\[l(\theta)=p(D|\theta)=p(x_1,x_2,x_3……x_N| \theta )=\prod_{i=1}^{n}P(x_i|\theta)$$ 就是D的似然函数 ## ML 中如何求极大似然函数 求使得出现该组样本的概率最大的θ值。 $$ \hat{\theta}=argmax l(\theta)=argmax\prod_{i=1}^{N}P(x_i|\theta)\]

简单的理解，我们就是在已知是\(\theta\) 发生的情况下让D序列出现的概率最大。而连乘不太好计算。我们可以做一下改变。

\[\hat{\theta}=argmax l(\theta)=argmax\prod_{i=1}^{N}P(x_i|\theta) = argmax (ln(\prod_{i=1}^{N}P(x_i|\theta)))= argmax \sum_{i=1}^{N}ln(P(x_i|\theta)) \]