PRML-1.2.2 期望和协方差

1.期望

\(离散型:\mathbb{E}[f]=\sum\limits_x p(x)f(x)\)
\(连续型:\mathbb{E}[f]=\sum\limits_x p(x)f(x)dx\)

如果我们给定有限数量的N个点，这些点满⾜某个概率分布或者概率密度函数，那么期望可以通过求和的⽅式估计
\(\mathbb{E}[f]\simeq\frac{1}{N}\sum\limits_{n=1}^{N}f(x_n)\)

2.多变量函数的期望

\(\mathbb{E}_x[f(x,y)]用下标来表示被平均的是哪个变量\)
\(注意\mathbb{E}_x[f(x,y)]是关于y的一个函数\)

3.条件期望

\(\mathbb{E}_x[f|y]=\sum\limits_x p(x|y)f(x)\)

4.方差-variance

\(var[f]=\mathbb{E}[(f(x)-\mathbb{E}[f(x)])^2]\)
\(var[f]=\mathbb{E}[f(x)^2]-\mathbb{E}[f(x)]^2\)
\(变量x自身的方差\)
\(var[x]=\mathbb{E}[x^2]-\mathbb{E}[x]^2\)

5.协方差-covariance

\(cov[x,y]=E_{x,y}[\{x-\mathbb{E}[x]\}\{y-\mathbb{E}[y]\}]=\mathbb{E}_{x,y}[xy]-\mathbb{E}[x]\mathbb{E}[y]\)
若两个变量相互独立，则协方差=0，注意反过来不成立

6.协方差矩阵

\(多个随机变量的情形下，协方差矩阵是一个矩阵\)
\(比如两个变量x,y,协方差矩阵为\)
\(\begin{bmatrix} cov[x,x] & cov[x,y]\\ cov[y,x] & cov[y,y]\\ \end{bmatrix}\)
\(对角线上是各个变量的方差\)