机器学习的数学基础-(三、概率论和数理统计)
概率论和数理统计
随机事件和概率
1.事件的关系与运算
(1) 子事件: ,若 发生,则 发生。
(2) 相等事件: ,即 ,且 。
(3) 和事件: (或 ), 与 中至少有一个发生。
(4) 差事件: , 发生但 不发生。
(5) 积事件: (或 ), 与 同时发生。
(6) 互斥事件(互不相容): 。
(7) 互逆事件(对立事件):
2.运算律
(1) 交换律:
(2) 结合律: ;
(3) 分配律:
3.德 摩根律
4.完全事件组
两两互斥,且和事件为必然事件,即
5.概率的基本公式
(1)条件概率:
,表示 发生的条件下, 发生的概率。
(2)全概率公式:
(3) Bayes公式:
注:上述公式中事件 的个数可为可列个。
(4)乘法公式:
6.事件的独立性
(1) 与 相互独立
(2) , , 两两独立
; ; ;
(3) , , 相互独立
; ;
;
7.独立重复试验
将某试验独立重复 次,若每次实验中事件 发生的概率为 ,则 次试验中 发生 次的概率为:
8.重要公式与结论
(1)
(2)
(3)
(4) ,
(5)条件概率 满足概率的所有性质, 例如:.
(6)若 相互独立,则 ,
(7)互斥、互逆与独立性之间的关系: 与 互逆 与 互斥,但反之不成立, 与 互斥(或互逆)且均非零概率事件 与 不独立。
(8)若 相互独立,则 与 也相互独立,其中 分别表示对相应事件做任意事件运算后所得的事件,另外,概率为1(或0)的事件与任何事件相互独立.
随机变量及其概率分布
1.随机变量及概率分布
取值带有随机性的变量,严格地说是定义在样本空间上,取值于实数的函数称为随机变量,概率分布通常指分布函数或分布律
2.分布函数的概念与性质
定义:
性质:
(1)
(2) 单调不减
(3) 右连续
(4)
3.离散型随机变量的概率分布
4.连续型随机变量的概率密度
概率密度 ;非负可积,且:
(1)
(2)
(3) 为 的连续点,则:
分布函数
5.常见分布
(1) 0-1分布:
(2) 二项分布: :
(3) Poisson分布: :
(4) 均匀分布 :
(5) 正态分布: :
(6)指数分布:
(7)几何分布:
(8)超几何分布:
6.随机变量函数的概率分布
(1)离散型:
则:
(2)连续型:
则: ,
7.重要公式与结论
(1) ,
(2)
(3)
(4)
(5) 离散型随机变量的分布函数为阶梯间断函数;连续型随机变量的分布函数为连续函数,但不一定为处处可导函数。
(6) 存在既非离散也非连续型随机变量。
多维随机变量及其分布
1.二维随机变量及其联合分布
由两个随机变量构成的随机向量 , 联合分布为
2.二维离散型随机变量的分布
(1) 联合概率分布律
(2) 边缘分布律
(3) 条件分布律
3. 二维连续性随机变量的密度
(1) 联合概率密度 :
1)
2)
(2) 分布函数:
(3) 边缘概率密度:
(4) 条件概率密度:
4.常见二维随机变量的联合分布
(1) 二维均匀分布: ,
(2) 二维正态分布: ,
5.随机变量的独立性和相关性
和 的相互独立: :
(离散型) (连续型)
和 的相关性:
相关系数 时,称 和 不相关,
否则称 和 相关
6.两个随机变量简单函数的概率分布
离散型: 则:
连续型:
则:
,
7.重要公式与结论
(1) 边缘密度公式:
(2)
(3) 若 服从二维Y=y正态分布
则有:
1)
2) 与 相互独立 ,即 与 不相关。
3)
4) 关于 的条件分布为:
5) 关于 的条件分布为:
(4) 若 与 独立,且分别服从
则:
(5) 若 与 相互独立, 和 为连续函数, 则 和 也相互独立。
随机变量的数字特征
1.数学期望
离散型: ;
连续型:
性质:
(1)
(2)
(3) 若 和 独立,则
(4)
2.方差:
3.标准差: ,
4.离散型:
5.连续型:
性质:
(1)
(2) 与 相互独立,则
(3)
(4) 一般有
(5)
(6)
6.随机变量函数的数学期望
(1) 对于函数
为离散型: ;
为连续型:
(2) ; ; ;
7.协方差
8.相关系数
;
阶中心矩
性质:
(1)
(2)
(3)
(4)
(5) ,其中
,其中
9.重要公式与结论
(1)
(2)
(3) 且 ,其中
,其中
(4) 下面5个条件互为充要条件:
注: 与 独立为上述5个条件中任何一个成立的充分条件,但非必要条件。
数理统计的基本概念
1.基本概念
总体:研究对象的全体,它是一个随机变量,用 表示。
个体:组成总体的每个基本元素。
简单随机样本:来自总体 的 个相互独立且与总体同分布的随机变量 ,称为容量为 的简单随机样本,简称样本。
统计量:设 是来自总体 的一个样本, )是样本的连续函数,且 中不含任何未知参数,则称 为统计量。
样本均值:
样本方差:
样本矩:样本 阶原点矩:
样本 阶中心矩:
2.分布
分布: ,其中 相互独立,且同服从
分布: ,其中 且 , 相互独立。
分布: ,其中 且 , 相互独立。
分位数:若 则称 为 的 分位数
3.正态总体的常用样本分布
(1) 设 为来自正态总体 的样本,
则:
1) 或者
2)
3)
4)
4.重要公式与结论
(1) 对于 ,有
(2) 对于 ,有 ;
(3) 对于 ,有
(4) 对于任意总体 ,有