几个随机算法【转载+整理】
淘宝搜索技术博客 http://www.searchtb.com/2010/12/random-algorithm.html
本文内容
- 随机选取数据
- 随机数的计算
- 总结
细看这篇文章,有点惊讶,没想到一个随机数,有这么多需要思考的东西。
在日常工作中,经常需要使用随机算法。比如面对大量的数据, 需要从其中随机选取一些数据来做分析。 又如在得到某个分数后, 为了增加随机性, 需要在该分数的基础上, 添加一个扰动, 并使该扰动服从特定的概率分布。本文主要从这两个方面出发, 介绍一些算法, 供大家参考。
假设,我们有一个使用的随机函数 float frand(), 返回值在(0, 1)上均匀分布。大多数的程序语言库提供这样的函数。 在其他的语言如 C/C++ 中, 可以通过间接方法得到。如:
随机选取数据
假设有一个集合 ,如何从集合A中等概率地选取 m 个元素,0≤m≤n?
通过计算古典概率公式可以得到,每个元素被选取的概率为 m/n。如果集合 A 里面的元素本来就具有随机性,每个元素在各个位置上出现的概率相等,并且只在 A 上选取一次数据,那么直接返回 A 的前面 m 个元素就可以,或每隔 k 个元素取一个等类似的方法。但这样的算法局限很大,对集合 A 的要求很高,因此下面介绍两种其他的算法。
假设集合A中的元素在各个位置上不具有随机性,并已经按某种方式排序,那么我们可以遍历集合A中的每一个元素 ,根据一定的概率选取
。
设 为还需要从A中选取的元素个数,
为元素
及其右边的元素个数,即
,那么选取元素
的概率为
。该证明略过。
简单计算前面两个元素 各自被选中的概率。设
表示
被选中的概率,相应
为未被选中。
2)第二个元素被选中的概率
用 C++ 实现了上述算法,如下:
template<class T>
bool getRand(const vector<T> vecData, int m, vector<T>& vecRand)
{
int32_t nSize = vecData.size();
if(nSize < m || m < 0)
return false;
vecRand.clear();
vecRand.reserve(m);
for(int32_t i = 0, isize = nSize; i < isize ; i++){
float fRand = frand();
if(fRand <=(float)(m)/nSize){
vecRand.push_back(vecData[i]);
m--;
}
nSize --;
}
return true;
}
上述算法,在 m=4,n=10,选取 100 万次的情况下,统计每个位置元素被选取的概率:
位置 |
概率 |
1 |
0.399912 |
2 |
0.400493 |
3 |
0.401032 |
4 |
0.399447 |
5 |
0.399596 |
6 |
0.39975 |
7 |
0.4 |
8 |
0.399221 |
9 |
0.400353 |
10 |
0.400196 |
此外,还有很多其他算法,不再单独介绍。如对第 i 个数,随机从 中取一个数与
交换。
在有些情况下,我们不能直接从 A 得到元素个数,如从一个很大的数据文件中随机选取几条数据出来。在内存不充足的情况下,为了知道我们文件中数据的个数,我们需要先遍历整个文件,然后再遍历一次文件利用上述的算法随机的选取m个元素。或是在类似 hadoop 的 reduce 方法中,只能得到数据的迭代器。我们不能多次遍历集合,只能将元素存放在内存中。在这些情况下,如果数据文件很大,那么算法的速度会受到很大的影响,而且对 reduce 机器的配置也有依赖。
此时,可以尝试一种只遍历一次集合的算法。
1)取前m个元素放在集合 A’中;
2)对于第 i 个元素(i>m),使 i 在 m/i 的概率下,等概率随机替换 A’中的任意一个元素。直到遍历完集合;
3)返回 A’。
下面证明在该算法,每一个元素被选择的概率为 m/n。
1) 当遍历到到 m+1 个元素时, 该元素被保存在 A’中的概率为 m/(m+1),前面m个元素被保存在A’中的概率为 1- (m/m+1 * 1/m) = m/m+1;
2) 当遍历到第 i 个元素时,设前面 i-1 个元素被保存在 A’中的概率为 m/(i-1)。根据算法, 第i个元素被保存在 A’中的概率为 m/i,前面 i-1 各个元素留在 A’中的概率为 m/(i-1) * (1-(m/i* 1/m) = m/i;
3) 通过归纳,即可得到每个元素留在 A’中的概率为 m/n。
在类似 hadoop 的 reduce 函数中,用 Java 实现该算法。
public void reduce(TextPair key, Iterator value, OutputCollector collector, int m)
{
Text[] vecData = new Text[m];
int nCurrentIndex = 0;
while(value.hasNext()){
Text tValue = value.next();
if(nCurrentIndex < m){
vecData[nCurrentIndex] = tValue;
}
else if(frand() < (float)m / (nCurrentIndex+1)) {
int nReplaceIndex = (int)(frand() * m);
vecData[nReplaceIndex] = tValue;
}
nCurrentIndex ++;
}
//collect data
…….
}
利用上述算法,在 m=4,n=10,经过 100 万次选取之后, 计算每个位置被选择的概率:
位置 |
概率 |
1 |
0.400387 |
2 |
0.400161 |
3 |
0.399605 |
4 |
0.399716 |
5 |
0.400012 |
6 |
0.39985 |
7 |
0.399821 |
8 |
0.400871 |
9 |
0.400169 |
10 |
0.399408 |
随机数的计算
在搜索排序中,有些时候我们需要给每个搜索文档的得分添加一个随机扰动, 并且让该扰动符合某种概率分布。
假设,我们有一个概率密度函数 ,并且有
。那么可以利用 f(x) 和 frand 设计一个随机计算器
,使得
返回的数据分布,符合概率密度函数 f(x)。令
那么函数
符合密度函数为 f(x) 的分布。
下面对以上公式进行简单的证明:
由于g(x) 是单调函数, 并且 x 在 [0,1] 上均匀分布,那么
由于上述公式太复杂,计算运算量大,在线上实时计算的时候通常采用线性差值的方法。算法为:
1)在 offline 计算的时候,设有数组 double A[N+1];对于所有的 i, 0<=i<=N, 令
2)在线上实时计算的时候,令
则线性插值的结果为:
我们做了一组实验,令 f(x) 服从标准正太分布 N(0,1), N=10000, 并利用该算法取得了 200*N 个数。对这些数做了个简单的统计, 得到 x 轴上每个小区间的概率分布图。
总结
在日常工作中, 还有其他一些有趣的算法。比如对于 top 100w 的 query, 每个 query 出现的频率不一样, 需要从这 100w 个 query, 按照频率越高, 概率越高的方式随机选择query。限于篇幅, 就不一一介绍了。