蓄水池抽样
蓄水池抽样/水塘抽样算法
给定一个数据流,数据流长度N很大,且N直到处理完所有数据之前都不可知,请问如何在只遍历一遍数据(O(N))的情况下,能够随机选取出m个不重复的数据。**
这个场景强调了3件事:
-
数据流长度N很大且不可知,所以不能一次性存入内存。
-
时间复杂度为O(N)。
-
随机选取m个数,每个数被选中的概率为m/N。
蓄水池抽样算法框架
//n个样本中抽出m个样本,保证被抽到的概率一样
//蓄水池
int[] reservoir = new int[m];
//初始化蓄水池
for (int i = 0; i < reservoir.length; i++){
reservoir[i] = dataStream[i];
}
for (int i = m; i < dataStream.length; i++){
// 随机获得一个[0, i+1)内的随机整数
int d = rand.nextInt(i+1);
// 如果随机整数落在[0, m)范围内,则替换蓄水池中的元素
if (d < m){
reservoir[d] = dataStream[i];
}
}