摘要: 最近这三个方面的论文都读过,这里写一篇博客归纳一下,以方便搞这几个领域的其他童鞋入门。传统的分布式机器学习已经被研究十几年了,目前各大顶会上的分布式机器学习主要是数学味道很浓的分布式数值优化算法。而联邦学习可以看做一种特殊的分布式学习,它有一些特殊的设定,比普通的分布式学习要困难一些,还是有很多方向可以研究的,做好了应该可以发顶会。多智能体系统是一组自主的,相互作用的实体,它们共享一个共同的环境,利用传感器感知,并利用执行器作动。 阅读全文 »
posted @ 2021-12-11 18:47 orion-orion 阅读(5577) 评论(5) 推荐(4) 编辑
摘要: 高斯分布,也被称为正态分布,广泛应用于连续型随机变量分布的模型中。高斯分布可以从多个不同的角度来理解。例如,对于一个一元实值向量,使得熵取得最大值的是高斯分布。这个性质对于多元高斯分布也成立。当我们考虑多个随机变量之和的时候,也会产生高斯分布。观察式多元高斯分布的形式,考虑其中在指数位置上出现的二次型(x - mu)^T∑^{-1}(x - mu)。由于协方差矩阵∑是对称矩阵,那么∑^{-1}也是对称矩阵。我们假定∑是正定的,那么∑^{-1}也是正定的。于是,该二次型为x到mu的马⽒距离(Mahalanobis distance)Delta的平方。当∑是单位阵时,就变成了欧氏距离。 阅读全文 »
posted @ 2025-01-23 23:12 orion-orion 阅读(415) 评论(0) 推荐(2) 编辑
摘要: 离散随机变量的二项分布和多项式分布,以及连续随机变量的高斯分布,这些都是参数分布(parmetric distribution)的具体例子。之所以被称为参数分布,是因为少量可调节的参数控制了整个概率分布。在频率派的观点中,我们通过最优化某些准则(例如似然函数)来确定参数的具体值。而在贝叶斯派的观点中,给定观测数据,我们引入参数的先验分布,然后使用贝叶斯定理来计算对应后验概率分布。我们会看到,对于贝叶斯参数估计而言,共轭先验(conjugate prior)有着很重要的作用。它使得后验概率分布的函数形式与先验概率相同,因此使得贝叶斯分析得到了极大的简化。例如,二项分布的参数的共轭分布为Beta分布,多项式分布的参数的共轭分布为狄利克雷分布(Dirichlet distribution),而高斯分布的均值的共轭先验是另一个高斯分布。所有这些分布都是指数族(exponential family)分布的特例。在本篇博客中我们将会介绍二项分布与多项式分布的共轭先验,高斯分布的共轭先验留在下一篇博客中进行介绍。 阅读全文 »
posted @ 2025-01-08 18:55 orion-orion 阅读(217) 评论(0) 推荐(1) 编辑
摘要: 我们在上一篇博客中介绍了采用贝叶斯方法进行假设检验。其中,我们提到了公式:P(H | DX) = P(H | X)P(D | HX)/P(D | X),其中X为先验信息,H为待检验的假设,D为数据。该公式是我们试图从数据中得出结论的一大类科学推断问题背后的基本原理。在这一篇博客中,我们将看下采用贝叶斯方法进行的假设检验在实践中是如何表现的。我们将讨论一些概率论的“怪异”应用。所谓“怪异”,即“偏离常规”,没有正确地使用概率论导致了错误。大概任何全新的应用都必须经过这种类似的怪异探索阶段。在许多情况下,我们认为今天的怪异应用可能成为明天受人尊敬的有用应用。我们将会使用贝叶斯分析来重新考虑这些问题,并消除掉其中的“怪异”,获得一些有用的结论。 阅读全文 »
posted @ 2024-12-28 20:48 orion-orion 阅读(292) 评论(0) 推荐(3) 编辑
摘要: 我们在上一篇博客中介绍了传统的抽样理论。其中,我们导出了几种经典的抽样分布,也即给定关于所观察现象的假设H,数据D的概率分布p(D | H)。在上一篇博客中提到的伯努利坛子模型中,假设H即坛子的内容,数据D即重复抽球所生成的红球和白球序列。但正如我们我们在上一篇博客的末尾所述,几乎所有实际的科学推断问题都处在相反的使用场景:我们已知数据D,希望确定假设H。更一般地说,已知数据D,如何求概率分布p(H_1 | D), p(H_2 | D), ...,以指出给定假设{H_1, H_2, ...}中哪一个成立?例如,我们的假设可能是对生成数据的物理机制的各种推断。但是从根本上讲,物理因果关系不是问题的必要组成部分,重要的只是假设和数据之间有某种逻辑关系。我们将这类问题称为假设检验(hypothesis testing)。 阅读全文 »
posted @ 2024-12-21 22:35 orion-orion 阅读(209) 评论(0) 推荐(0) 编辑
摘要: 我们先考察无放回抽样(sampling without replacement) 实验,也即从有N个球的坛子里无放回地抽n个球,我们会发现实验结果服从超几何分布/广义超几何分布。接着,我们会讨论前向推断和后向推断两类问题。然后,我们会研究无放回抽样的极限形式,这将导出二项分布/多项分布。关于多项分布,我们还会进一步讨论统计力学中的麦克斯韦-玻尔兹曼统计。最后,我们会考察更复杂的有放回抽样(sampling with replacement) 实验,也即从有N个球的坛子里无放回地抽n个球。注意,与许多人认为的相反,我们认为无放回抽样更复杂,因为我们需要考虑大量的额外背景信息并进行分析。之所其二项分布的数学形式更简单,是由于我们做出了随机化的额外假设导致的,我们所得到的只是个近似的结果。最后,我们会对有放回抽样的近似结果做进一步的相关性校正,这将得到一个马尔可夫链模型。 阅读全文 »
posted @ 2024-10-31 23:32 orion-orion 阅读(417) 评论(0) 推荐(0) 编辑
摘要: 我们在上一篇博客中介绍了合情推理中所要满足的合情条件。在这一篇博客中我们将看到,上述条件皆不是空穴来风,而且不多不少刚刚好。一旦我们导出了满足上述合情条件的合情推理定量规则,我们就会发现,我们实际上就得到了概率的原始定义(乘法规则 + 加法规则 + 无差别原则)。其中,条件(Ⅰ)(Ⅱ)(Ⅲa)是机器人大脑的“结构性”条件,决定了推理机器人大脑的内部运作规则(这里的“大脑”可以指电路 / 神经网络 / ...),导出概率的乘法规则(product rule):p(AB | C) = p(A | C)p(B | AC)=p(B | C)p(A | BC)和加法规则(sum rule):p(A | B) + p(非A | B) = 1(p(x)是任意连续单调递增函数,值域为0 <= p(x) <= 1)而条件(Ⅲb)(Ⅲc)是“接口”条件,进一步建立了推理机器人与客观世界的联系。其中,(Ⅲc)导出概率的无差别原则(principle of indifference):p(A_i | B) = 1 / n, 1 <= i <= n。 阅读全文 »
posted @ 2024-10-17 15:42 orion-orion 阅读(299) 评论(0) 推荐(0) 编辑
摘要: 最近蔻享学术主办了每周一次的《概率论沉思录》读书会活动,恰好我也正在读该书中译版,通过该活动我了解到了不同学科的老师(数学/物理/统计/计算机)对这本书的不同理解,而我自己对该书的理解也在这个过程中逐渐深入了。于是准备每周都持续更新一下我的读书笔记。本书作者是一位物理学家,不同于基于Kolmogorov公理化概率论中先从概率空间和测度的定义入手来讲概率论,而是先从现实世界的经验背景入手提出合情推理和合情程度的概念,然后再介绍合情程度需要满足的定性条件(即合情条件),最后在此基础上推导出合情推理所要满足的定量规则,即乘法规则和加法规则(对应本书第1、2章的内容)。 阅读全文 »
posted @ 2024-08-12 20:03 orion-orion 阅读(691) 评论(0) 推荐(3) 编辑
摘要: 粗排/精排的个性化多任务学习模型,能预估20多个不同的预估值,如点击率、有效播放率、播放时长、点赞率、关注率等,那如何用它来排序呢?从多任务学习到多目标排序,中间有一个过渡,即如何把这些预估值融合成一个单一的排序分,最后实现多目标精排。这也就引入了本文要介绍的正题:多目标融合(multi-task fusion, MTF)。手工融合的优点在于其目标权重就指示了目标在融合公式中的重要度,比较直观且可解释性强。当然其缺点也非常明显,这个权重系数对于所有用户都是一样的,缺少个性化。那么,我们是否可以用模型来学习超参数呢?这就涉及到了融合超参数的学习方法了,也即用一个模型来学习各预估分数的组合权重。 阅读全文 »
posted @ 2024-05-18 16:30 orion-orion 阅读(4457) 评论(0) 推荐(1) 编辑
摘要: 图对比学习(Graph Contrastive Learning, GCL)旨在以自监督的方式学习图的节点表征。具体而言,先以特定方式对原图A进行增广,得到两个增广后的视图(view)V1和V2做为对比对(也可以是原图和增广后的视图做为对比对),并经由GCN进行编码得到两个增广视图中的节点embeddings。接着,对于某个目标节点i,我们需要使其在某个增广视图中的embedding去接近在另一个增广视图中的正样本embedding,而远离负样本embedding。不过,均匀随机的边扰动很难做为有效的增广来使用,这启发我们去构思比均匀扰动更好的图增广方法。我们知道图谱可以做为许多图的结构属性的一个综合性总结,包括聚类系数、连通性等等。那么,基于图谱的图增广方法就是顺理成章的了。 阅读全文 »
posted @ 2023-10-23 12:28 orion-orion 阅读(710) 评论(0) 推荐(1) 编辑
摘要: K为图G的MarKov转移算子,则我们称算子L = I - K为图G的(归一化)Laplacian算子。通过研究L,我们就能把握Laplacian二次型E[f]=⟨f, Lf⟩的特性,从而把握图G的特性,这是谱图理论中至关重要的一点。事实上,我们可以找到Laplacian算子的n个相互正交的规范化特征向量(范数为1)及其对应的特征值。而这事实上和我们在线性代数课程中所学过的谱定理密切相关。我们前面证明过Markov转移算子K是自伴的,则L=I−K也是自伴的(事实上,又由于⟨f, Lf⟩⩾0,L还是半正定的)。 阅读全文 »
posted @ 2023-10-19 00:24 orion-orion 阅读(653) 评论(0) 推荐(0) 编辑
点击右上角即可分享
微信分享提示