侧边栏

随机化算法

随机化算法指,对于特定输入,该算法的输出不是固定值,而是服从某一分布。

单纯形(simplex):一个k维单纯形是指包含k+1个顶点的凸多面体,一维单纯形是一条线段,二维单纯形是一个三角形,三维单纯形是一个四面体,以此类推推广到任意维。“单纯”意味着基本,是组成更复杂结构的基本构件。

概率单纯形(probability simplex):是一个数学空间,上面每个点代表有限个互斥事件之间的概率分布。该空间的每条坐标轴代表一个互斥事件,k1维单纯形上的每个点在k维空间中的坐标就是其k个互斥事件上的概率分布。每一点的坐标(向量)包含k个元素,各元素非负且和为1。

如下图所示,三个事件发生的概率分布形成一个二维的概率单纯形,上面每个点在三个事件上发生的概率之和为1。

image

形式化定义:给定一个离散集BB上的概率单纯形Δ(B)被定义为

Δ(B)={xR|B||xi0,i=1,2,,|B;i=1|B|xi=1}

Δ(B)是一个集合,集合中每一个元素是一个|B|维向量,该向量代表了一个离散型随机变量的概率分布。Δ(B)代表了一个有|B|种取值的离散型随机变量的所有可能的概率分布。

随机化算法:一个随机化算法M有定义域A、离散的值域B和一个映射M:AΔ(B)。一个输入aA,算法M的输出M(a)Δ(B)

例如,A={2,3,4}B={1,2,3,4,5},设Δ(B)中包含三个元素,分别为(13,13,13,0,0)(0,13,13,13,0)(0,0,13,13,13),即

Δ(B)={(13,13,13,0,0),(0,13,13,13,0),(0,0,13,13,13)}

每个元素均代表算法输出的随机变量取值为1,2,3,4,5的概率分布,现可以规定映射M

M(2)=(13,13,13,0,0),M(3)=(0,13,13,13,0),M(4)=(0,0,13,13,13)

也就是说,一个特定输入aA经过随机化算法M得到的不是一个具体值bB,而是一个分布M(a)Δ(B),又或者说,算法将以一定概率输出某一个值。

上述情况是在离散概率空间中讨论的,有时,算法将从连续分布中的采样,但最后将以适当的精度进行离散化。

参考资料:

  1. 概率单纯形 https://zhuanlan.zhihu.com/p/479892005
  2. 差分隐私的算法基础 第二章 第三节 形式化差分隐私 https://zhuanlan.zhihu.com/p/502656652
posted @   MaplesWCT  阅读(1270)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· 没有Manus邀请码?试试免邀请码的MGX或者开源的OpenManus吧
· 【自荐】一款简洁、开源的在线白板工具 Drawnix
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY
· Docker 太简单,K8s 太复杂?w7panel 让容器管理更轻松!
点击右上角即可分享
微信分享提示