随机取样-蓄水池问题

看了多篇讲解蓄水池问题的文章，感觉下面转载的这一篇是证明最为严谨的。

原文地址：http://www.cnblogs.com/growup/archive/2012/02/07/2341912.html

如何在事先不知道文本文件行数n的情况下读取该文件，从中随机选择并输出一行？

（事先不知道n的大小，但是一次可以看到这n个对象）

即蓄水池抽样（Reservoir Sampling）问题

证明如下：

    问题: 证明当前任意一行为取出行的概率为1/i，i为当前扫描到的行号，也即每一行取出的概率相等

   我们用数学归纳法来证明，

当i=1时，当前只浏览了第一行，因此第一行为取出行的概率为1/1=1，符合直接取出的条件

当i=k时，有前k行为取出行的概率为1/k，我们要证明的是，当i=k+1时，前k+1行每一行被取出的概率均相等，且为1/(k+1)。当扫描到第k+1行时，我们以1/(k+1)概率替换choice，易知，第k+1行为choice的概率即为1/(k+1)，对于第k行，其为choice的概率是 第k行为取出行的概率 * 第k+1行没有被取出的概率即，

   对于第k行的证明同样可应用到前k-1行，对于其中第m行其为choice的概率是 第m行为取出行的概率 * 第m+1行没有被取出的概率 * … *第k+1行没有被取出的概率，即

  由此证得当i=k+1时，所有行的取出概率为1/(k+1)。证毕。

可以对其进行扩展，即如何从未知或者很大样本空间随机地取k个数？

类比下即可得到答案，即先把前k个数放入蓄水池，对第k+1，我们以k/(k+1)概率决定是否要把它换入蓄水池，换入时随机的选取一个作为替换项，这样一直做下去，对于任意的样本空间n，对每个数的选取概率都为k/n。也就是说对每个数选取概率相等。

证明我们仍然使用数学归纳法：

  问题，证明对于任意样本号n,n>=k,每个样本作为取出样本的概率相等，即k/n。

  证明：

  当n=k时，由我们把前k个数放入蓄水池可知，每个样本的取出概率均相等，即k/k=1。   设当前样本号为n，其每个取出样本概率均相等，即为k/n，我们要证明的是这种情况对于n+1也成立。

  由于我们以k/(n+1)决定是否把n+1放入蓄水池，那么对于n+1其出现在蓄水池中的概率就是k/(n+1)，对于前n个元素中的任意元素m(k+1<=m<=n)，其出现在蓄水池中的概率为 m出现在蓄水池中的概率 * [(m+1被选中的概率*m没被m+1替换的概率 + m+1没被选中的概率)*(m+2被选中的概率*m没被m+2替换的概率 + m+2没被选中的概率)*…*(n+1被选中的概率*m没被n+1替换的概率 + n+1没被选中的概率)]，即

  可见，对于n+1每个样本取出概率也相等，即为k/(n+1)。证毕。

其伪代码如下：

       for    i= k+1 to N
           M=random(1, i);
           if( M < k)
                SWAP the Mth value and ith value
      end for

个人总结：如果在知道N的大小情况下，我们可以从[1、N]中随机选择一个数作为选择对象。但是现在不知道N的大小，要使每一个元素被取的概率相等（随机）。