贝叶斯决策论

今天开始仔细的阅读《模式分类》这本书，把它的内容尽量搞明白。

今天的内容是贝叶斯决策论：

下面是自己忘记了的几个基本的知识点，网上查到放在这里方便查阅:

协方差　

　两个不同参数之间的方差就是协方差

　　若两个随机变量X和Y相互独立，则E[(X-E(X))(Y-E(Y))]=0，因而若上述数学期望不为零，则X和Y必不是相互独立的，亦即它们之间存在着一定的关系。

　　定义

　　E[(X-E(X))(Y-E(Y))]称为随机变量X和Y的协方差，记作COV(X，Y)，即COV(X，Y)=E[(X-E(X))(Y-E(Y))]。

　　D(X+Y)=D(X)+D(Y)+2COV(X，Y)

　　D(X-Y)=D(X)+D(Y)-2COV(X，Y)

　　因此，COV(X，Y)=E(XY)-E(X)E(Y)。

　　协方差的性质：

　　（1）COV(X，Y)=COV(Y，X)；

　　（2）COV(aX，bY)=abCOV(X，Y)，（a，b是常数）；

　　（3）COV(X1+X2，Y)=COV(X1，Y)+COV(X2，Y)。

　　由协方差定义，可以看出COV(X，X)=D(X)，COV(Y，Y)=D(Y)。

　　定义

　　ρXY=COV(X，Y)/√D(X)√D(Y)，称为随机变量X和Y的相关系数。

　　定义

　　若ρXY=0，则称X与Y不相关。

　　即ρXY=0的充分必要条件是COV(X，Y)=0，亦即不相关和协方差为零是等价的。

　　定理

　　设ρXY是随机变量X和Y的相关系数，则有

　　（1）∣ρXY∣≤1；

　　（2）∣ρXY∣=1充分必要条件为P{Y=aX+b}=1，（a，b为常数，a≠0）（X与Y线性相关的时候相关系数为1）