PRML第十一章习题答案
Chapter 11. Sampling Methods
更新日志（截至20210127）
- 20210127：首次提交，含习题 11.10 的详解
Exercise 11.10
Hint.
用归纳法证明。
当 \(\tau=0\) 时，\(\underset{z^{(0)}}{\mathbb{E}}\left[z^{(0)}\right] =0\)，结论成立。
假设当 \(\tau=k\) 时，\(\underset{z^{(0:k)}}{\mathbb{E}}\left[\left(z^{(k)}\right)^2\right] = \frac{k}{2}\)，则
\[\begin{aligned}
\underset{z^{(0:k+1)}}{\mathbb{E}}\left[\left(z^{(k+1)}\right)^2\right]
&=\underset{z^{(k+1)}|z^{(k)}}{\mathbb{E}}\underset{z^{(0:k)}}{\mathbb{E}}\left[\left(z^{(k+1)}\right)^2\right]
\\
&=\frac{1}{2}\underset{z^{(0:k)}}{\mathbb{E}}\left[\left(z^{(k)}\right)^2\right] +
\frac{1}{4}\underset{z^{(0:k)}}{\mathbb{E}}\left[\left(z^{(k)}+1\right)^2\right] +
\frac{1}{4}\underset{z^{(0:k)}}{\mathbb{E}}\left[\left(z^{(k)}-1\right)^2\right]
\\
&=\underset{z^{(0:k)}}{\mathbb{E}}\left[\left(z^{(k)}\right)^2\right]+
\frac{1}{2}
\\
&=\frac{k+1}{2}
\end{aligned}
\]
即当 \(\tau=k+1\) 时，结论也成立。
由归纳法原理，\(\forall\tau\in \mathbb{N}, \underset{z^{(0:\tau)}}{\mathbb{E}}\left[\left(z^{(\tau)}\right)^2\right] = \frac{\tau}{2}\)。
Comment.
\(\underset{z^{(0:\tau)}}{\mathbb{E}}\left[z^{(\tau)}\right] = 0\)，但是 \({\rm var}(z^{(\tau)}) = \underset{z^{(0:\tau)}}{\mathbb{E}}\left[\left(z^{(\tau)}\right)^2\right] - \left(\underset{z^{(0:\tau)}}{\mathbb{E}}\left[z^{(\tau)}\right]\right)^2 = \frac{\tau}{2}\)。所以虽然平均意义下，质点的位置在原点，但是它有 \(\sqrt{\frac{\tau}{2}}\) 的探索半径。探索半径的量级小于探索步长，因此探索是低效的。
