布隆过滤器

今天在某群看到了这个神秘东西，似乎是工业上广泛采用的。又看到小雷暴学弟搞了一个不一样的东西，于是去细细分析了一下这个东西的正确率。

问题

维护一个集合，支持插入元素，查询某个元素是不是被插入过。对空间有非常严格的限制（不能储存下所有元素，甚至也不能储存下哈希值集合）。要求绝不能报告出现过的元素为没出现，但是可以以一定错误率报告没出现过的元素为出现。

解法

首先是布隆过滤器：找到 \(k\) 个值域相同的理想哈希函数，维护一个 bitset（位向量），大小为哈希函数的值域。每次加入一个元素时，将它的 \(k\) 个哈希值对应的位置赋为 \(1\)。查询时，检查 \(k\) 个位置，如果都是 \(1\) 报告出现，否则报告没出现。

分析

分析这个东西的正确率：考虑位向量大小为 \(m\)，已经加入了 \(n\) 个元素（最劣情形假设它们互不相同），现在有一个询问操作（最劣情形假设它没出现过），考虑这次询问发生“假阳性”的概率。我们不妨设 \(m \gg k\)，一个正常的布隆过滤器应当满足这一点。容易发现这个问题等价于给定 \(k\) 个位置，接下来随机 \(nk\) 次，要求每个给定的位置都被随机到至少一次的概率。反手容斥一下，钦定 \(i\) 个位置不能被覆盖：

\[\begin{aligned} P &= \sum\limits_{i=0}^k\dbinom{k}{i}(-1)^i\left(\dfrac{m - i}{m}\right)^{nk}\\ &= \sum\limits_{i=0}^k\dbinom{k}{i}(-1)^i\left(\left(1 - \dfrac{i}{m}\right)^{\frac{m}{i}}\right)^{\frac{nki}{m}}\\ &=e^{-\frac{nk^2}{m}}\sum\limits_{i=0}^k\dbinom{k}{i}(-1)^i\left(e^{\frac{nk}{m}}\right)^{k-i}\\ &= e^{-\frac{nk^2}{m}}\left(e^{\frac{nk}{m}}-1\right)^k\\ &= \left(1-e^{-\frac{nk}{m}}\right)^k \end{aligned} \]

这个就是布隆过滤器的错误率。

接下来看一下苏州爷过滤器。其实也就是把一个向量拆成了 \(k\) 个分开存每个哈希值。那么单次错误率是每个哈希的错误率乘起来，正确率就是每次都没有失败的概率，错误率就是再用 \(1\) 减一下（晕）：

\[P_{\text{苏州}} = 1-\left(1 - \left(\frac{k}{m}\right)^k\right)^n \]

这俩玩意看着没法比较对吧！所以先算一下后者最优情况是 \(k\) 为多少。首先我们只需要最小化单次错误率 \(\left(\dfrac{k}{m}\right)^k\)，这个东西的最小值怎么求呢？胡乱求个导（我刚刚发现自己已经完全不会求导）得到 \(\left(\dfrac{k}{m}\right)^k\cdot(\ln k - \ln m + 1)\) 这个玩意。胡乱看看发现它只有一个零点：\(k = \frac{m}{e}\)，所以上述函数最小值胡乱猜测一下就取在每个块长度为 \(3\) 这里——也就是错误率 \(3^{-\frac{m}{3}}\)。那么苏州爷过滤器错误率差不多就是这鬼样子：

\[P_{\text{最好的苏州}} = 1-\left(1 - 3^{-\frac{m}{3}}\right)^n \]

很快群友（和聪明的你）就发现这么做在时间上根本过不去，所以实际情况需要实际分析。当然如果你只需要卡空间，那可以说后一种方法的定论就是长度为 \(3\) 最好。

而我他妈的完全不会分析布隆过滤器的最优参数，更不会比较两个方法的优劣。可能是因为苏州离常州比较近？洋人玩意我实在整不明白了。来一个苏州人比较一下这两个谁更厉害？@Cry-For-theMoon