PT_数字特征_矩协方差相关系数

文章目录

• • 矩
  • • 原点矩
    • 中心距
    • 混合矩
    • 混合中心矩
    • 小结🎈
  • 协方差
  • • 性质
    • • 展开性质
      • 线性组合性质@提取系数
      • 交换律
      • 分配律
      • 方差加/减法性质:
      • • 小结
    • 例
  • 相关系数
  • • 不相关性
    • 性质
    • 独立与不相关
  • 随机变量标准化

矩

• 🎈记号说明:
  • 设X,Y是随机变量
  • $I=\{1,2,\cdots \}$
  • $k,l\in I$
• 🎈存在性:
  • 不是任意随机变量都存在所有阶的矩
  • 下面的定义假设X,Y的相应的矩都存在

原点矩

• k阶原点矩
  • $E(X^k)$

中心距

• Central moment - Wikipedia
• k阶中心矩
  • $E((X-E(X){)}^k)$

混合矩

• $k+l$阶混合(原点)矩
  • $E(X^k{Y}^l)$

混合中心矩

• $k+l$阶混合中心矩
  • $E((X-E(X){)}^k(Y-E(Y){)}^l)$

小结🎈

• 原点矩,中心矩,混合矩,混合中心矩,从他们的形式定义来看,都是某个模式随机变量(函数)$P(X)或P(X,Y)$的均值

• 这些定义的不同点在于模式随机变量的复杂程度不同

  • 记随机变量X的数学期望为${\mu }_X=E(X)$,类似的Y的数学期望为${\mu }_Y=E(Y)$

    • 这种写法有利于减少括号的重数

  • 	k阶原点矩	k阶中心矩	k阶混合(原点)矩	k阶混合中心矩
    模式随机变量函数	$X^k$	$(X-{\mu }_X{)}^k$	$X^k{Y}^l$	$(X-{\mu }_X{)}^k(Y-{\mu }_Y{)}^l$

协方差

• $如果X,Y的1+1阶混合中心矩存在,那么称之为协方差:记为Cov(X,Y)$
  • 方差和协方差的关系:
    • $当Y=X的时候,协方差就是方差$
    • 可以理解为,方差的相关性质很多可以从协方差那里特殊化得到,推导方法类似
• 协方差定义
  • 对于随机变量X,Y,如果$Cov=E((X-E(X))(Y-E(Y)))=E((X-{\mu }_X)(Y-{\mu }_Y))$存在,则称Cov为X,Y的协方差
  • 记为$Cov(X,Y)$

性质

展开性质

• 减法展开(而不是加法)

• $Cov(X,Y)=E(XY)-E(X)E(Y)$

  • 特别的,$Cov(X,X)=D(X)=E(X^2)-E^2(X)$

• $$\begin{gathered} Cov(X,Y)=E((X-E(X))(Y-E(Y))) \\ =E(XY-XE(Y)-E(X)\cdot Y+E(X)E(Y)) \\ =E(XY)-E(X)E(Y)-E(X)E(Y)+E(X)E(Y) \\ =E(XY)-E(X)E(Y) \end{gathered}$$

• 公式逆用

  • $E(XY)-E(X)E(Y)=Cov(X,Y)$

线性组合性质@提取系数

• $Cov(aX,bY)=abCov(X,Y)$

  • $$\begin{gathered} Cov(aX,bY) \\ =E(aXbY)-E(aX)E(bY) \\ =abE(XY)-abE(X)E(Y) \\ =ab(E(XY)-E(X)E(Y)) \\ =ab(Cov(X,Y)) \end{gathered}$$

  • 特别的:$Cov(X,-Y)=-Cov(X,Y)$

交换律

• $Cov(X,Y)=Cov(Y,X)$
  • 容易由展开性公式质直接得到

分配律

• $Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$

• $$\begin{gathered} Cov(X_1+X_2,Y) \\ =E((X_1+X_2)Y)-E(X_1+X_2)E(Y) \\ =E(X_{1}Y+X_{2}Y)-(E(X_1)+E(X_2))E(Y) \\ =E(X_{1}Y)+E(X_{2}Y)-E(X_1)E(Y)-E(X_2)E(Y) \\ =E(X_{1}Y)-E(X_1)E(Y)+E(X_{2}Y)-E(X_2)E(Y) \\ =Cov(X_1,Y)+Cov(X_2,Y) \end{gathered}$$

方差加/减法性质:

• 由于方差可以算作特殊的协方差,也属于协方差的范畴,至少在形式上,有等式:

  • $D(X)=Cov(X,X)$

• 在讨论方差的时候,随机变量间加法/减法的方差展开相关性质是缺失的

  • 现在借助协方差来补充描述

• $D(X\pm Y)=D(X)+D(Y)\pm 2Cov(X,Y)$

  • $D(X+Y)$

  • $$\begin{gathered} 记Z=X+Y \\ D(Z)=E(Z^2)-E^2(Z)=E((X+Y{)}^2)-E^2(X+Y) \\ =E(X^2+2XY+Y^2)-(E(X)+E(Y){)}^2 \\ =E(X^2)+2E(XY)+E(Y^2)-(E^2(X)+2E(X)E(Y)+E^2(Y)) \\ =E(X^2)+2E(XY)+E(Y^2)-E^2(X)-2E(X)E(Y)-E^2(Y) \\ =E(X^2)-E^2(X)+E(Y^2)-E^2(Y)+2(E(XY)-E(X)E(Y)) \\ =D(X)+D(Y)+2Cov(X,Y) \end{gathered}$$

  • $D(X-Y)$
    $$\begin{gathered} 取Y=-Y,带入得到D(X+Y)的展开公式中;结合以下等式 \\ E(-Y)=-E(Y); \\ {E}^2(-Y)=E^2(Y); \\ D(-Y)=(-1{)}^2\cdot D(Y)=D(Y); \\ Cov(X,-Y)=-Cov(X,Y) \end{gathered}$$

    $$D(X-Y)=D(X)+D(Y)-2Cov(X,Y)$$

小结

• 只需要知道$D(X+Y)=D(X)+D(Y)+2Cov(X,Y)$即可
  • 因为减法都可以看做加法
  • 另外可能需要结合$D(aX)=a^{2}D(X),Cov(aX,bY)=abCov(X,Y)$
    • $例如D(-X)=(-1{)}^{2}D(X)=D(X)$

例

• 设随机变量X服从均匀分布$X\sim U(0,3)$,随机变量Y服从参数为2的possion分布$Y\sim Possion(2)$

• 且X,Y的协方差$Cov(X,Y)=-1$

• D(2X-Y+1)=?

  • $$\begin{gathered} D(X)=\frac{(3-0{)}^2}{12}=\frac{3}{4} \\ D(Y)=2 \\ D(2X-Y+1) \\ =D(2X-Y) \\ =D(2X)+D(Y)-2Cov(2X,Y)=4D(X)+D(Y)+4=3+2+4=9 \end{gathered}$$

    • 或
      $$\begin{gathered} D(2X-Y)=D(2X)+D(-Y)+2Cov(2X,-Y) \\ =4D(X)+D(Y)+2(-2Cov(X,Y))=3+2+4=9 \end{gathered}$$

相关系数

• $对于X,Y两个随机变量$

  • $${\rho }_{XY}=\{\begin{array}{ll}\frac{Cov(X,Y)}{\sqrt{D(X)D(Y)}},& D(X)D(Y)\ne 0\\ 0,& else\end{array}$$

不相关性

• ${\rho }_{XY}=0时称X,Y不相关$
• 否则是相关的

性质

• $|{\rho }_{XY}|⩾1$

  • $取等号的充要条件存在常数a,b,使得:P(aX+b)=1;a\ne 0$

    • 具体分为:
      $$\begin{gathered} {\rho }_{XY}=1,a>0 \\ {\rho }_{XY}=-1,a<0 \end{gathered}$$

独立与不相关

• $如果X,Y这2个随机变量独立,则X,Y一定不相关$
  • 如果已知不相关,则推不出独立
  • $但是对于二维正态随机变量(X,Y),两者是可以互推的(独立和不相关;且在\rho =0时同时成立)$

随机变量标准化

• 相关系数$\frac{Cov(X,Y)}{\sqrt{D(X)D(Y)}}$和协方差$Cov(X,Y)$在数值方面,仅相差一个系数

  • 相关系数是无量纲的(不受单位影响)
  • 能够更好的反映X,Y之间的关系

• $定义变换:X^{\ast }=\frac{X-E(X)}{\sqrt{D(X)}}为标准化变换,将随机变量X从方差的角度进行标准化$

  • 性质:

    • $E(X^{\ast })=0$

    • $D(X^{\ast })=1$

    • $E(X),D(X)是常数;Z=X-E(X)不是常数$

    • $${\rho }_{XY}={\rho }_{X^{\ast }{Y}^{\ast }}=Cov(X^{\ast }{Y}^{\ast })=\frac{1}{\sqrt{D(X)}\sqrt{D(Y)}}Cov(X,Y)$$

  • 推导

    • $$\begin{gathered} E(X^{\ast })=E(\frac{X-E(X)}{\sqrt{D(X)}})=\frac{1}{\sqrt{D(X)}}E(X-E(X)) \\ =\frac{1}{\sqrt{D(X)}}(E(X)-E(X))=0 \end{gathered}$$

    • $$\begin{gathered} D(X^{\ast })=E((X^{\ast }{)}^2)-E^2(X^{\ast }) \\ E((X^{\ast }{)}^2)=E(\frac{(X-E(X){)}^2}{D(X)})=E(\frac{1}{D(X)})E((X-E(X){)}^2)=\frac{D(X)}{D(X)}=1 \\ D(X^{\ast })=1^2-0^2=1 \end{gathered}$$

    • $$\begin{gathered} Cov(X^{\ast }{Y}^{\ast })=E(X^{\ast }{Y}^{\ast })-E(X^{\ast })E(Y^{\ast })=E(X^{\ast }{Y}^{\ast })-0=E(X^{\ast }{Y}^{\ast }) \\ =E(\frac{X-E(X)}{\sqrt{D(X)}}\cdot \frac{Y-E(Y)}{\sqrt{D(Y)}}) \\ =\frac{1}{\sqrt{D(X)}\sqrt{D(Y)}}Cov(X,Y) \\ {\rho }_{X^{\ast }{Y}^{\ast }}=\frac{1}{\sqrt{D(X^{\ast })}\sqrt{D(Y^{\ast })}}Cov(X^{\ast }{Y}^{\ast }) \\ =1\cdot Cov(X^{\ast }{Y}^{\ast })=\frac{1}{\sqrt{D(X)}\sqrt{D(Y)}}Cov(X,Y) \\ 可见{\rho }_{XY}={\rho }_{X^{\ast }{Y}^{\ast }}=Cov(X^{\ast }{Y}^{\ast })=\frac{1}{\sqrt{D(X)}\sqrt{D(Y)}}Cov(X,Y) \end{gathered}$$

  • 可见

    • 随机变量标准化后,不改变它们的相关系数
    • 随机变量的相关系数就是它们各自标准化变量间的协方差

• $$\begin{gathered} 任何随机变量X,Y都可以标准化为X^{\ast },Y^{\ast }; \\ 由于研究X^{\ast },Y^{\ast }的相关系数和协方差与X,Y具有等价性,且X^{\ast },Y^{\ast }更适合计算 \\ 以X^{\ast },Y^{\ast }代替X,Y进行推导 \\ D(X^{\ast }\pm Y^{\ast })=D(X^{\ast })+D(Y^{\ast })\pm 2Cov(X^{\ast },Y^{\ast }) \\ =1+1\pm 2{\rho }_{X^{\ast }{Y}^{\ast }} \\ =2(1\pm {\rho }_{X^{\ast }{Y}^{\ast }}) \\ 由于随机变量的方差总是大于0的(Z^{\ast }=X^{\ast }\pm Y^{\ast },D(Z^{\ast })⩾0) \\ 2(1\pm {\rho }_{X^{\ast }{Y}^{\ast }})⩾0 \\ 1\pm {\rho }_{X^{\ast }{Y}^{\ast }}⩾0 \\ {\rho }_{X^{\ast }{Y}^{\ast }}⩾-1 \\ {\rho }_{X^{\ast }{Y}^{\ast }}⩽1 \\ 可见:{\rho }_{X^{\ast }{Y}^{\ast }}⩽1 \end{gathered}$$

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Yw7l0Qld-1671324552781)(D:\repos\blogs\neep\math\PT_概率论\assets\image-20221030141116499.png)]

• $$\begin{gathered} 经过前面的推导: \\ D(X^{\ast }\pm Y^{\ast })=2(1\pm {\rho }_{X^{\ast }{Y}^{\ast }}) \\ 则:D(X^{\ast }-Y^{\ast })=2(1-{\rho }_{X^{\ast }{Y}^{\ast }}) \\ 为了求得{\rho }_{X^{\ast }{Y}^{\ast }}=1的条件: \\ 设{\rho }_{X^{\ast }{Y}^{\ast }}=1 \\ 那么D(X^{\ast }-Y^{\ast })=2(1-1)=0 \end{gathered}$$

  • ${\rho }_{XY}=1$

• $$\begin{gathered} 而方差的性质:D(X)=0\Rightarrow P(X=E(X))=1 \\ D(Z=X^{\ast }-Y^{\ast })=0\Rightarrow P(X^{\ast }-Y^{\ast }=E(X^{\ast }-Y^{\ast }))=1 \\ 而E(Z=X^{\ast }-Y^{\ast })=0-0=0 \\ 从推得P(X^{\ast }-Y^{\ast }=0)=P(X^{\ast }=Y^{\ast })=1 \\ 对于X^{\ast }=Y^{\ast }将标准型展开移项得到:\frac{X-E(X)}{\sqrt{D(X)}}=\frac{Y-E(Y)}{\sqrt{D(Y)}} \\ Y=\frac{(X-E(X))}{\sqrt{D(X)}}\sqrt{D(Y)}+E(Y) \\ =\frac{\sqrt{D(Y)}}{\sqrt{D(X)}}X-\frac{\sqrt{D(Y)}}{\sqrt{D(X)}}E(X)+E(Y) \\ 令a=\frac{\sqrt{D(Y)}}{\sqrt{D(X)}};b=-\frac{\sqrt{D(Y)}}{\sqrt{D(X)}}E(X)+E(Y) \\ Y=aX+b,并且a>0 \end{gathered}$$

  • ${\rho }_{XY}=-1$

  $$a=-\frac{\sqrt{D(Y)}}{\sqrt{D(X)}};b=\frac{\sqrt{D(Y)}}{\sqrt{D(X)}}E(X)+E(Y)$$