B站框框老师+宋浩老师概率论视频课笔记，宋浩老师数理统计视频课笔记

只做理解类记录，哪个知识点忘了去看视频。前四章是概率，看的框框老师。

概率论

1、随机试验：可重复性、可预知性、不确定性
2、样本空间：随机试验E的所有可能结果，记为S或Ω
3、样本点：样本空间中的每一个元素e
4、随机事件：样本空间的子集，简称事件
5、事件发生：子集中某个样本点出现，不需要全部样本点出现
    必然事件：整个样本空间
    不可能事件：空集

6、事件间的关系与运算：
    包含：A发生必然导致B发生，A∈B
    并：A或B至少发生一个，A∪B
    交：A和B同时都发生，A∩B
    差：A发生B不发生，A-B， A-B-C 减谁谁不发生，A-B=A-AB
    互斥：AB=∅
    对立事件：A拔=B，B拔=A
    交换律（顺序调换）、结合律（括号移位）、分配律（括号外的带着符号分别于括号里的配一起，还要加括号）
    德摩根律：长杠变短杠（或短杠变长杠），开口变方向

7、概率的定义与性质

　　　　可列：像1、2、3……n……，你说一位，我知道下一位
　　　　不可列：像[0,1]，你说一位，我不知道下一位是啥

    P(A)
    非负性：P(A)的值域 [0,1]
    规范性：P(Ω)=1，P(∅)=0
    有限可加性：若A、B互斥，则 P(AUB) = P(A) + P(B)
    互补性：P(A拔)= 1 - P(A)
    重要公式：
        减法公式： P(A-B) = P(A)-P(AB)     如果B是A的子集，则 P(A-B) = P(A)-P(B)
                  P(AB拔)= P(A-B)
        加法公式： P(AUB) = P(A) + P(B) - P(AB)
                  P(AUBUC) = P(A) + P(B) + P(C) - P(AB) - P(AC) - P(BC) + P(ABC)    把AUB看做整体可以推出来
                      最后一位加奇减偶，AUB是偶要减，AUBUC是奇要加
8、古典概型
    有限性：样本点是有限个
    等可能性：每个样本点发生概率相等
    P(A) = A的样本点个数 / Ω的样本点个数
    排列组合：从n个元素中任取r个元素 的取法总数公式。
        组合：不讲取出元素间的次序。用长括号上下两个值表示，也用C加两个数字表示。所有组合总数：n!/[r!(n-r)!]
        排列：讲次序。 所有排列总数：n!/(n-r)!
9、几何概型
    样本空间与几何区域有关（线段、平面、立体）
    等可能性：向Ω的区域内任意投一点，落在区域内任何一点的可能性相等。
    P(A) = A的长度、面积、体积 / Ω的长度、面积、体积
10、条件概率
    事件B在事件A条件下的条件概率： P(B|A) = P(AB) / P(A)
    P(B拔|A) = 1 - P(B|A)
    P(BUC|A) = P(B|A) + P(C|A) - P(BC|A)
    P(B-C|A) = P(B|A) - P(BC|A)
　　概率性质直接全加上 |A 就是条件概率的性质
11、乘法公式
    P(AB) = P(A)P(B|A)
    P(ABC) = P(A)P(B|A)P(C|AB)
12、全概率公式
    完备事件组，也叫划分（划分分法不唯一）。两两互斥，完备性（相加等于全集）。
    P(B) = P(A1)P(B|A1) + P(A2)P(B|A2) + …… + P(An)P(B|An)
    本质是将一个复杂事件，转化为若干个小划分事件，以及相应的条件概率，乘积再相加。复杂事件简单化。
13、贝叶斯公式
    已知B发生的条件下，第Ai个小划分事件发生的条件概率
    P(Ai|B) = P(AiB) / P(B) = P(Ai)P(B|Ai) / 全概率公式那一大串
14、事件的独立性
    P(B|A) = P(B)
    P(AB) = P(A)P(B)
    P(B|A) = P(B|A拔)
    P(B|A拔) = P(B)
    P(B|A) + P(B拔|A拔) = 1
    有拔无拔对独立没有影响
    三事件独立
        P(AB) = P(A)P(B)
        P(AC) = P(A)P(C)
        P(BC) = P(B)P(C)
        P(ABC) = P(A)P(B)P(C)
        以上四个要同时成立，则三事件相互独立
    若事件ABC独立，则A与B的和、差、积、逆 与 C或C拔 均独立
15、伯努利概型
    伯努利试验：只有两种结果的试验。
    n重伯努利试验：试验 独立地 重复n次。
    每次试验概率都相等，用p表示。
    n次试验中，事件A发生k次的概率：Pn(k) = Cnk(就是组合的大写C和它两个数字，输入法打不出来) * p^k * (1-p)^(n-k)     也叫二项概率公式

随机变量与分布函数
1、随机变量
    函数 X = X(e) 为随机变量，记为RV
    分类：离散型随机变量、连续型随机变量、非离散非连续型随机变量
 2、分布函数
     设X是一个随机变量，x为任意一个实数(自变量)，事件{X<=x}的概率是随机变量X的分布函数，记为F(x)
　　  这个发明的目的就是为了让微积分也能在概率里用
     即 F(x) = P{X<=x}    意思是 随机变量X 落在区间(-∞，x] （也叫左方区间）的概率
     某点处的概率：P{X=a} = P{X<=a} - P{X<a} = F(a) - F(a-0)      F(a-0)表示x从左侧趋近a: limP{X<=x}  lim下面是x→a-
     区间上的概率：
         P{X<=a} = F(a)
         P{X<a} = F(a-0)
         P{a<X<=b} = P{X<=b} - P{X<=a} = F(b) - F(a)
         P{a<X<b} = P{X<b} - P{X<=a} = F(b-0) - F(a)
         P{a<=X<=b} = P{X<=b} - P{X<a} = F(b-0) - F(a-0)
　　　　  P{a<=Z<b}=F(b-0)-F(a-0), a-0意思是a的左极限，这个式子的意思就是样本点在b的左极限到a的左极限组成的区间里

3、分布函数性质 非负性 0 <= F(x) <= 1 规范性 F(+∞) = 1 ， F(-∞) = 0 F(x)为单调不减函数。 由上面区间上的概率可证出。 F(x)为右连续函数。 
4、离散型随机变量 X的取值为有限个或无限可列个时，称X为离散型随机变量 分布律（或叫做概率分布）：把X取每个值得概率列成表格 它的分布函数是个分段函数形式，
F(x) = P{X<=x} 中的x依次取分布律中的每个值，然后看X在x的左方区间内碰到几个概率的点，把概率相加，这个值 在 0到1之间。 
　　5种常见的离散型分布： 
　　　　0-1分布（只有两个结果） 
　　　　二项分布：前面15讲了。例子：一个医院一天出生的婴儿中，正好有k个男孩的概率。 
　　　　泊松分布：X的分布律为 P{X=k} = λ^k*e^(-λ) / k! (k=0,1,2…… λ>0) ，则X符合泊松分布，记为 X~P(λ) （稀有事件概率），是二项分布的极限。 例子：5分钟内车站正好来k个人等车的概率。 
　　　　超几何分布：X的分布律为 （三个C组合，输入法写不出来），则X符合超几何分布，记为 H(N,M,n)。 视频的框老师也是产品例子，分母是总体N中取n个样本，分子左边是M个次品中取k个次品，
分子右边是N-M个正品中取n-k的正品。
　　　　几何分布：X的分布律为 P{X=k} = (1-p)^(k-1)*p     (k=0,1,2……), 则X符合几何分布，记为 X~G(p)。  总共做了k次试验，第k次才成功，前面全失败，这就是首次成功的概率，
没成功就一直试验。例子：一个医院一天出生的婴儿中，第一个男孩出现的概率。
5、连续型随机变量
    X的分布函数为 F(x) = ∫f(t)dt    （∫上面是x，下面是-∞，f(x)>=0），则X为连续型随机变量。f(x)为X的概率密度函数，简称密度函数。
    这里F(x)是连续函数
    若f(x)在x点连续，则F(x)的导数为f(x)。 即分布函数的导数等于密度函数。
    F(x)图像上是定积分那个图像面积。但这个面积的总体值为1。
    密度函数f(x)的性质：
        非负性：f(x)>=0 （可保证f(x)=F`(x)>=0  → 因为 F(x) 单调不减，所以要规定f(x)>=0）
        规范性：∫f(t)dt =1（∫上面是+∞，下面是-∞）
        某点处的概率：P{X=a} = P{X<=a} - P{X<a} = F(a) - F(a) = 0   （因为F(x)是连续函数所以这里不是-F(a-0)而是-F(a)） 
        区间上的概率：可以随意添加等号，因为是连续函数 P{a<X<b} = P{a<X<=b} = P{a<=X<=b} = ∫f(x)dx（∫上面是a，下面是b) 。所以区间上的概率等于定积分，也就是面积。
    几个常见的连续型分布：
        均匀分布：当X的密度函数f(x)= 分段函数——当 a<x<b时=1/(b-a);其他情况=0。则X服从均匀分布，记为X~U(a,b)
        指数分布：当X的密度函数f(x)= 分段函数——当 x>0时=λ*e^(-λx);x<=0时=0。其中λ>0。则X服从指数分布，记为X~e(λ)
            这个主要用于寿命分布，比如电池寿命等。
            X的分布函数为      F(x)= 分段函数——当 x>0时=1-e^(-λx);x<=0时=0
            X具有无记忆性：P{X>t0+T|X>t0}=P{X>T}  老电池已经使用t0小时的情况下，它再使用T小时的概率=新电池能使用T小时的概率。
        正态分布：当X的密度函数f(x)= 输入法不好写自己查吧，-∞<x<+∞，则称X服从正态分布，记为X~N(μ,σ^2),其中σ>0
            μ决定左右，是位置参数，σ决定高低，是形状参数，σ越小图形越尖。
            标准正态：μ=0，σ=1   N(0,1)
            标准化：(X-μ)/σ这样X就变成标准正态了。
            上α分位点：这一点(μα)右边的面积为α，即P{X>μα}=α，就是概率为α
6、随机变量函数的分布：讲的都是解题方法，有需要看视频
    离散型变量函数的分布
    连续型随机变量函数的密度函数

多维随机变量及其分布
1、二维随机变量：随机试验E有样本空间Ω，X,Y都是定义在Ω上的随机变量，则称(X,Y)为二维随机变量。（X和Y写成了向量形式，原来括号一直都是向量的表达）
2、联合分布函数：F(x,y) = P{X<=x,Y<=y}   意味着两个事件同时发生的概率
    F(x,y)几何意义是 (X,Y)落在点(x,y)的左下方的概率。
    性质：
        非负性：0 <= F(x,y) <= 1
        F(x,y)是单调不减函数
        规范性：F(-∞,-∞)=0，F(-∞,y)=0，F(x,-∞)=0，F(+∞,+∞)=1    前三个有空集，空集和谁相交都是空
        右连续性：F(x,y)关于x是右连续的，关于y也是右连续的。
3、二维离散型随机变量
    当(X,Y)的取值为有限个或可列无限个时，称(X,Y)为二维离散型随机变量
    联合分布律：X所有取值放第一列，Y所有取值放第一行，组成表格，表格里内容就是同时取到xi和yi的概率。
        P{X=xi,Y=yi} = Pij   i=1,2……，j=1,2……
        性质：
            非负性：每个概率都>=0
            规范性：表格里所有概率加起来等于1
4、二维连续型随机变量
    (X,Y)的联合分布函数为 F(x,y) = ∫∫f(u,v)dudv    （第一个∫上面是x，下面是-∞，第二个∫上面是y，下面是-∞，f(x,y)>=0），则(X,Y)为二维连续型随机变量。f(x,y)为(X,Y)的联合密度函数。
    联合密度函数f(x,y)的性质：
        非负性：f(x,y)>=0
        规范性：∫∫f(x,y)dxdy = 1   （第一个∫上面是+∞，下面是-∞，第二个∫上面是+∞，下面是-∞)
        若f(x,y)在点(x,y)处连续，则 F(x,y)的二阶偏导 = f(x,y)    （二阶偏导输入法写不出来，文字代替了）
        区域概率：P{(X,Y)∈D} = ∫∫f(u,v)dudv  （∫∫下面有个D）   （前面一维的是区间上的概率等于定积分，这个是区域上的概率=区域上的二重积分）
    2个常见的二维连续型分布：
        二维均匀分布：当(X,Y)的密度函数f(x)= 分段函数——当 (x,y)∈D时=1/面积;其他情况=0。则(X,Y)服从二维均匀分布，记为(X,Y)~U(D)
        二维正态分布： f(x)= 太长了自己查吧。记为(X,Y)~N(μ1，μ2，σ1^2，σ2^2，ρ)
            二维正态分布图形是个钟形，像隆起的山。
            ρ的含义：刻画X与Y的相关关系
5、边缘分布
    边缘分布函数：在联合分布函数F(x,y)的条件下，只考虑其中一个变量：
        只考虑X，则 F_X(x) = P{X<=x} = P{X<=x，Ω} = P{X<=x，Y<+∞} = F(x,+∞) 为二维随机变量(X,Y)关于X的边缘分布函数（F_X的X是下标，这里输入法打不出来）。
        同理Y的是 F(+∞,y)
    边缘分布律：在联合分布律的基础上，则 P{X=xi} = P{X=xi,Ω} = …… = Pi. 为二维随机变量(X,Y)关于X的边缘分布律。
        比如取表格里x3这行，那概率P{X=x3}=表格里x第三行所有概率的和，记为P3. ，这就是X的边缘分布律。
        同理Y的是 P{Y=yj} = Pj. ，就是表格里第j列所有概率相加。
    (X,Y)的联合密度函数为f(x,y)，则
        f_x(x)=∫f(x,y)dy (∫上面是+∞，下面是-∞) 为(X,Y)关于X的边缘密度函数；
        f_y(y)=∫f(x,y)dx (∫上面是+∞，下面是-∞) 为(X,Y)关于Y的边缘密度函数；
6、条件分布
    条件分布律：离散型(X,Y)的联合分布律P{X=xi,Y=yi}（前面3里的），
        固定Y=yj，当P{Y=yj}不等于0时，称P{X=xi|Y=yi}=P{X=xi,Y=yi}/P{Y=yj}=Pij/Pj为X在Y=yj条件下的条件分布律。
        固定X=xi，当P{X=xi}不等于0时，称P{Y=yi|X=xi}=P{X=xi,Y=yi}/P{X=xi}=Pij/Pi为Y在X=xi条件下的条件分布律。
        即 条件分布 = 联合分布/边缘分布
    条件密度函数：
        (X,Y)的概率密度为f(x,y)（前面4里的），
            固定Y=y，当f_Y(y)不等于0时，称f_X|Y(x|y)=f(x,y)/f_Y(y) 为X在Y=y条件下的条件密度。  
            固定X=x，当f_X(x)不等于0时，称f_Y|X(y|x)=f(x,y)/f_X(x) 为Y在X=x条件下的条件密度。
                f_X|Y(x|y)=f(x,y)/f_Y(y)  是x的一元函数
                规范性：∫f_X|Y(x|y)dx=∫f(x,y)/f_Y(y)dx=1  (两个都是∫上面是+∞，下面是-∞)
7、随机变量的独立性
    F(x,y)为(X,Y)的联合分布函数，F_X(x)，F_Y(y)分别为X与Y的边缘分布函数，若F(x,y)=F_X(x)F_Y(y)，则随机变量X与Y相互独立。
    当(X,Y)为离散型随机变量时，X与Y独立 能互相推出 P{X=xi,Y=yi} = P{X=xi}P{Y=yj}
    当(X,Y)为连续型随机变量时，X与Y独立 能互相推出 f(x,y)=f_X(x)f_Y(y)
8、两个随机变量函数的分布：讲的都是解题方法，有需要看视频
    两个离散型随机变量函数的分布
    两个连续型随机变量函数的分布
    利用卷积公式求 Z=X+Y 的密度
    两个变量最值函数的分布

随机变量的数字特征
1、数学期望：
    离散型随机变量的数学期望
        随机变量X的分布律为 表格中x1,x2……xk对应的概率时p1,p2……pk，则x1*p1+x2*p2+……xk*pk = E(X)为X的数学期望
        离散期望=取值乘概率再求和
        若Y=g(X)，则E(g(X)) = g(x1)*p1+g(x2)*p2+……g(xk)*pk 为 Y=g(X)的数学期望
        若Z=g(X,Y)，则E(g(X,Y)) = g(x1,y1)*p1+g(x2,y2)*p2+……g(xk,yk)*pk 为g(X,Y)的数学期望
    连续型随机变量的数学期望
        连续期望=取值乘密度再积分
        也是有三种数学期望
    期望的性质
        设C为常数，E(C) = C
        E(C*X) = C*E(X)
        E(X+Y) = E(X) + E(Y)
        若X与Y独立，则E(X*Y) = E(X)*E(Y)
2、方差
    设X为随机变量，方差 D(X) = E[ (X-E(X))^2 ]
        D(X)表示X与E(X)的偏离程度
        D(X)>=0
    计算公式：D(X) = E(X^2) - E^2(X)
    性质：
        设C为常数，D(C) = 0
        D(CX) = C^2 * D(X)
        D(X+Y) = D(X) + D(Y) + 2[E(XY)-E(X)E(Y)]
　　　　 D(X-Y) = D(X) + D(Y) - 2COV(X,Y)   前面都是加，只有后面跟着变符号
        若X与Y独立，则D(X+Y) = D(X) + D(Y) 
        若D(X)=0，则P{X=E(X)}=1 
3、常见分布的期望与方差
    01分布：E(X) = p , D(X) = p(1-p)
    二项分布：E(X) = np , D(X) = np(1-p)
    泊松分布：E(X) = λ , D(X) = λ
    均匀分布：E(X) = (a+b)/2, D(X) = (b-a)^2/12
    指数分布：E(X) = 1/λ , D(X) = 1/λ^2
    正态分布：E(X) = μ , D(X) = σ^2

框框老师没讲完，下面时B站宋浩老师的课堂笔记，把概率论知识补充完整。

1，协方差，就是方差D(X+Y)后面那个E(XY)-EXEY。D(X-Y) = D(X) + D(Y) - 2COV(X,Y)
想求协方差，就要先求期望，离散期望等于取值乘概率再求和，连续型期望等于取值乘密度作为被积函数求定积分。
协方差性质：
COV(ax，by)=abCOV(x，y)，常数能提出来。
COV(x1+x2，y)=COV(x1，y)+COV(x2，y)
COV(a，y)=0
X，Y独立，COV(X，Y)=0
协方差反映两变量之间的关系，它受单位影响，比如变化0.1米和10厘米，对协方差来说差别就很大。

2，相关系数，等于协方差除以两个标准差，它衡量的是两个变量之间有没有线性关系，如果相关系数的绝对值等于1，这两个变量就有线性关系（直线才是线性关系，曲线不是）。
相关系数=1，说明线性关系的斜率为正。
相关系数=-1，说明斜率为负。
相关系数接近0，说明线性关系弱，
相关系数=0，说明不存在线性关系。

3，原点距：EX^k，以原点0为中心
中心距：E(E-EX)^k，就是以EX为中心。

4，切比雪夫大数定律，意思是在实验次数足够多的情况下，所有实验样本的均值，收敛于所有实验样本期望的均值。
大数定律告诉我们，也是大量实验情况下，用实验样本的平均数，来逼近它的期望，这事儿靠谱。

5，中心极限定理，意思是大量独立同分布的变量和，的极限分布，是正态分布。应用场景就是大量实验样本之和，把这个和小于等于某个值的概率，转化为参数为某个值的标准正态分布，就可以直接查表得出概率了。
二项分布也能用正态分布来近似。
做题时把条件凑成中心极限定理的样子，就能用标准正态写答案了。

至此，概率讲完，开始讲数理统计。

第一章样本及抽样分布

1、总体抽样出样本。这属于归纳推理

总体：就是个体具有的数量指标的全体。（每个个体有一项或几项数量指标）

随机分布：数量指标在总体中的分布。

所以，总体在抽象的概念上就是一个概率分布。

2、样本中包含的个体数目，叫做样本容量。

假如容量为n，样本就可以表示为n维随机变量。这n个具体的数叫做样本观察值。

3、怎么抽？

默认是简单随机抽。他有两个特点：

代表性：能代表总体分布。（同分布）

独立性：样本（个体的指标）之间不能同质化。

4、接下来是对样本观察值的操作

不含任何未知参数的样本的函数（对样本观察值的加工），就是统计量（也叫随机变量）。

常用的统计量如下

样本均值

样本方差、标准差(样本方差为什么除以n-1而不是n，是为了保守，所以让误差大一点，因为除以n-1的商肯定比除以n要大一点)

样本k阶原点距

样本k阶中心距

5、抽样分布：就是看总体是啥分布，决定抽样时用啥分布。

正态

卡方：多个独立同标准正态分布的样本的平方之和，是卡方分布。卡方分布的期望是n，方差是2n。n越大(大于2才有突出来的峰)，卡方分布的峰越往右，它也越接近正态分布。下图是几个重要定理：

Zα 叫做分位点（老师举了考研录取的例子，分位点就是那个录取分数线）。

其中α是个面积值（上面说了连续型随机变量中，面积总体值是1，在录取例子里，α就是录取比例，0.1）。

一般，下分位代表分位点左边，上分位是右。

卡方分布的重要例题:下图(2)里。就是先化标准正态，再套公式，最后查表得到想要的值。

T分布

当n大于30，也是接近正态分布。它也有分位点，做题时也是先标准化成标准正态，套公式，查表。

F分布，也是一个套路

7、正态总体下的抽样分布

第二章参数估计

1，估计的是各种分布里的参数，通过抽样，构造出函数，来估计那些分布里的参数。

估计值用带hat的参数表示。

分布里的参数都是用期望EX和方差DX表示的，DX也可由EX推出。因此只要求出总体的EX就行，我们又无法获取总体，比如统计身高，样本里1.75的最多，你猜μ是几，那肯定猜是1.75，这就是参数估计，其实就是猜，所以要猜总体EX，就用样本估计总体的EX，于是就规定用第一章4里的样本原点矩=总体的EX，比如正态时EX就是μ，泊松分布时EX就是λ，等等，这些参数是估计(猜)出来的，要加hat。(这种猜法叫矩估计。或者用样本中心矩推别的参数，比如正态分布里的方差。总之样本的两个矩需要几阶就用几阶)

2，用矩估计的前提是总体矩存在，矩估计结果也可能不唯一，因此我们可以用更好的估计方法：极大似然估计。

极大似然：学生和教官打靶，只有一个人打中了，我猜是教官打中的，这就叫极大似然。

极大似然用函数L表示，它是概率连乘，入参就是需要估计的参数，求L最大值，就是取什么参数，能使样本发生的概率最大。

做题套路如下