随机化算法

随机化算法指，对于特定输入，该算法的输出不是固定值，而是服从某一分布。

单纯形（simplex）：一个\(k\)维单纯形是指包含\(k+1\)个顶点的凸多面体，一维单纯形是一条线段，二维单纯形是一个三角形，三维单纯形是一个四面体，以此类推推广到任意维。“单纯”意味着基本，是组成更复杂结构的基本构件。

概率单纯形（probability simplex）：是一个数学空间，上面每个点代表有限个互斥事件之间的概率分布。该空间的每条坐标轴代表一个互斥事件，\(k-1\)维单纯形上的每个点在\(k\)维空间中的坐标就是其\(k\)个互斥事件上的概率分布。每一点的坐标（向量）包含\(k\)个元素，各元素非负且和为1。

如下图所示，三个事件发生的概率分布形成一个二维的概率单纯形，上面每个点在三个事件上发生的概率之和为1。

形式化定义：给定一个离散集\(B\)，\(B\)上的概率单纯形\(\Delta(B)\)被定义为

\[\Delta(B)=\left\{x \in \mathbb{R}^{|B|}\left|x_{i} \geq 0, i=1,2, \cdots,\right| B \mid ; \sum_{i=1}^{|B|} x_{i}=1\right\} \]

\(\Delta(B)\)是一个集合，集合中每一个元素是一个\(|B|\)维向量，该向量代表了一个离散型随机变量的概率分布。\(\Delta(B)\)代表了一个有\(|B|\)种取值的离散型随机变量的所有可能的概率分布。

随机化算法：一个随机化算法\(\cal{M}\)有定义域\(A\)、离散的值域\(B\)和一个映射\(\mathcal{M}:A\rightarrow \Delta(B)\)。一个输入\(a\in A\)，算法\(\cal{M}\)的输出\(\mathcal{M}(a)\in \Delta(B)\)。

例如，\(A=\{2,3,4\}\)，\(B=\{1,2,3,4,5\}\)，设\(\Delta(B)\)中包含三个元素，分别为\((\frac{1}{3},\frac{1}{3},\frac{1}{3},0,0)\)、\((0,\frac{1}{3},\frac{1}{3},\frac{1}{3},0)\)、\((0,0,\frac{1}{3},\frac{1}{3},\frac{1}{3})\)，即

\[\Delta(B)=\left\{ (\frac{1}{3},\frac{1}{3},\frac{1}{3},0,0), (0,\frac{1}{3},\frac{1}{3},\frac{1}{3},0), (0,0,\frac{1}{3},\frac{1}{3},\frac{1}{3}) \right\} \]

每个元素均代表算法输出的随机变量取值为1,2,3,4,5的概率分布，现可以规定映射\(\cal{M}\)为

\[\mathcal{M}(2)=\left(\frac{1}{3}, \frac{1}{3}, \frac{1}{3}, 0,0\right), \mathcal{M}(3)=\left(0, \frac{1}{3}, \frac{1}{3}, \frac{1}{3}, 0\right), \mathcal{M}(4)=\left(0,0, \frac{1}{3}, \frac{1}{3}, \frac{1}{3}\right) \]

也就是说，一个特定输入\(a\in A\)经过随机化算法\(\cal{M}\)得到的不是一个具体值\(b\in B\)，而是一个分布\(\mathcal{M}(a)\in \Delta(B)\)，又或者说，算法将以一定概率输出某一个值。

上述情况是在离散概率空间中讨论的，有时，算法将从连续分布中的采样，但最后将以适当的精度进行离散化。

参考资料：

1. 概率单纯形 https://zhuanlan.zhihu.com/p/479892005
2. 差分隐私的算法基础 第二章 第三节 形式化差分隐私 https://zhuanlan.zhihu.com/p/502656652