会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Orion's Blog
联邦学习、图机器学习、推荐系统
博客园
首页
新随笔
联系
订阅
管理
1
2
3
4
5
···
15
下一页
[置顶]
分布式机器学习、联邦学习、多智能体的区别和联系
摘要:
最近这三个方面的论文都读过,这里写一篇博客归纳一下,以方便搞这几个领域的其他童鞋入门。传统的分布式机器学习已经被研究十几年了,目前各大顶会上的分布式机器学习主要是数学味道很浓的分布式数值优化算法。而联邦学习可以看做一种特殊的分布式学习,它有一些特殊的设定,比普通的分布式学习要困难一些,还是有很多方向可以研究的,做好了应该可以发顶会。多智能体系统是一组自主的,相互作用的实体,它们共享一个共同的环境,利用传感器感知,并利用执行器作动。
阅读全文
posted @ 2021-12-11 18:47 orion-orion
阅读(4998)
评论(5)
推荐(3)
编辑
2024年8月12日
概率论沉思录:合情推理
摘要:
最近蔻享学术主办了每周一次的《概率论沉思录》读书会活动,恰好我也正在读该书中译版,通过该活动我了解到了不同学科的老师(数学/物理/统计/计算机)对这本书的不同理解,而我自己对该书的理解也在这个过程中逐渐深入了。于是准备每周都持续更新一下我的读书笔记。本书作者是一位物理学家,不同于基于Kolmogorov公理化概率论中先从概率空间和测度的定义入手来讲概率论,而是先从现实世界的经验背景入手提出合情推理和合情程度的概念,然后再介绍合情程度需要满足的定性条件(即合情条件),最后在此基础上推导出合情推理所要满足的定量规则,即乘法规则和加法规则(对应本书第1、2章的内容)。
阅读全文
posted @ 2024-08-12 20:03 orion-orion
阅读(332)
评论(0)
推荐(3)
编辑
2024年5月18日
推荐系统:精排多目标融合与超参数学习方法
摘要:
粗排/精排的个性化多任务学习模型,能预估20多个不同的预估值,如点击率、有效播放率、播放时长、点赞率、关注率等,那如何用它来排序呢?从多任务学习到多目标排序,中间有一个过渡,即如何把这些预估值融合成一个单一的排序分,最后实现多目标精排。这也就引入了本文要介绍的正题:多目标融合(multi-task fusion, MTF)。手工融合的优点在于其目标权重就指示了目标在融合公式中的重要度,比较直观且可解释性强。当然其缺点也非常明显,这个权重系数对于所有用户都是一样的,缺少个性化。那么,我们是否可以用模型来学习超参数呢?这就涉及到了融合超参数的学习方法了,也即用一个模型来学习各预估分数的组合权重。
阅读全文
posted @ 2024-05-18 16:30 orion-orion
阅读(1825)
评论(0)
推荐(1)
编辑
2023年10月23日
图机器学习:从图谱角度来理解图增广
摘要:
图对比学习(Graph Contrastive Learning, GCL)旨在以自监督的方式学习图的节点表征。具体而言,先以特定方式对原图A进行增广,得到两个增广后的视图(view)V1和V2做为对比对(也可以是原图和增广后的视图做为对比对),并经由GCN进行编码得到两个增广视图中的节点embeddings。接着,对于某个目标节点i,我们需要使其在某个增广视图中的embedding去接近在另一个增广视图中的正样本embedding,而远离负样本embedding。不过,均匀随机的边扰动很难做为有效的增广来使用,这启发我们去构思比均匀扰动更好的图增广方法。我们知道图谱可以做为许多图的结构属性的一个综合性总结,包括聚类系数、连通性等等。那么,基于图谱的图增广方法就是顺理成章的了。
阅读全文
posted @ 2023-10-23 12:28 orion-orion
阅读(455)
评论(0)
推荐(1)
编辑
2023年10月19日
谱图论:Laplacian算子及其谱性质
摘要:
K为图G的MarKov转移算子,则我们称算子L = I - K为图G的(归一化)Laplacian算子。通过研究L,我们就能把握Laplacian二次型E[f]=⟨f, Lf⟩的特性,从而把握图G的特性,这是谱图理论中至关重要的一点。事实上,我们可以找到Laplacian算子的n个相互正交的规范化特征向量(范数为1)及其对应的特征值。而这事实上和我们在线性代数课程中所学过的谱定理密切相关。我们前面证明过Markov转移算子K是自伴的,则L=I−K也是自伴的(事实上,又由于⟨f, Lf⟩⩾0,L还是半正定的)。
阅读全文
posted @ 2023-10-19 00:24 orion-orion
阅读(405)
评论(0)
推荐(0)
编辑
2023年9月27日
谱图论:Laplacian二次型和Markov转移算子
摘要:
以下部分是我学习CMU 15-751: TCS Toolkit的课堂笔记。接下来将要介绍的是谱图论(spectral graph theory)的关键,也就是Laplacian二次型(Laplacian quadratic form)。直观地理解,Laplacian二次型刻画了图的“能量”(energy)。它在其它语境下,又被称为Dirichlet形式(Dirichlet form),局部方差(local variance),解析边界大小(analytic boundary size)。直觉上,其值越小,也就意味着f更加“光滑”(smooth),即其值不会沿着边变化得太剧烈。
阅读全文
posted @ 2023-09-27 00:32 orion-orion
阅读(325)
评论(0)
推荐(0)
编辑
2023年9月21日
迁移学习:互信息的变分上下界
摘要:
在机器学习,尤其是涉及异构数据的迁移学习/联邦学习中,我们常常会涉及互信息相关的优化项,我上半年的第一份工作也是致力于此。其思想虽然简单,但其具体的估计与优化手段而言却大有门道,我们今天来好好总结一下,也算是对我研一下学期一个收尾。为了解决互信息估计的的难解性,我们的方法是不直接对互信息进行估计,而是采用变分近似的手段,来得出互信息的下界/上界做为近似,转而对互信息的下界/上界进行最大化/最小化。
阅读全文
posted @ 2023-09-21 00:22 orion-orion
阅读(1379)
评论(4)
推荐(3)
编辑
2023年5月21日
SICP:惰性求值、流和尾递归(Python实现)
摘要:
在上一篇博客中,我们介绍了用Python对来实现一个Scheme求值器。然而,我们跳过了部分特殊形式(special forms)和基本过程(primitive procedures)实现的介绍,如特殊形式中的delay、cons-stream,基本过程中的force、streawn-car、stream-map等。事实上,以上特殊形式和基本过程都和惰性求值与流相关。这篇博客我们将介绍如何用Python来实现Scheme中的惰性求值和流,并使用惰性求值的原理来为我们的Scheme解释器增添尾递归的支持。所谓流,一言以蔽之,就是使用了惰性求值技术的表。它初始化时并没有完全生成,而是能够动态地按需构造,从而同时提升程序的计算和存储效率。
阅读全文
posted @ 2023-05-21 22:14 orion-orion
阅读(341)
评论(0)
推荐(1)
编辑
2023年5月15日
SICP:元循环求值器(Python实现)
摘要:
元语言抽象就是建立新的语言。它在工程设计的所有分支中都扮演着重要的角色,在计算机程序设计领域更是特别重要。因为这个领域中,我们不仅可以设计新的语言,还可以通过构造求值器的方式实现这些语言。对某个程序设计语言的求值器(或者解释器)也是一个过程,在应用于这个语言的一个表达式时,它能够执行求值这个表达式所要求的动作。接下来我们将要讨论如何关于在一些语言的基础上构造新的语言。在这篇博客里,我们将用Python语言去构造一个Scheme语言的求值器。事实上求值器的实现语言无关紧要,我们也可以用Scheme语言去构造Scheme语言的求值器。用于被求值语言同样的语言写出来的求值器被称为元循环(metacircular)。
阅读全文
posted @ 2023-05-15 20:14 orion-orion
阅读(447)
评论(0)
推荐(0)
编辑
2023年5月13日
联邦学习:联邦场景下的域泛化
摘要:
然而,目前大多数域泛化方法需要将不同领域的数据进行集中收集。然而在现实场景下,由于隐私性的考虑,数据常常是分布式收集的。因此我们需要考虑联邦域泛化(federated domain generalization, FedDG)方法。这里需要注意的是,传统的域泛化方法常常要求直接对齐表征或操作数据,这在联邦场景下是违反数据隐私性的。此外对于跨域的联邦学习,由于客户端异构的数据分布/领域漂移(如不同的图像风格)所导致的模型偏差(bias),直接聚合本地模型的参数也会导致次优(sub-optimal)的全局模型,从而更难泛化到新的目标域。
阅读全文
posted @ 2023-05-13 22:04 orion-orion
阅读(849)
评论(0)
推荐(0)
编辑
2023年4月18日
Linux:管道命令与文本处理三剑客(grep、sed、awk)
摘要:
众所周知,bash命令执行的时候会输出信息,但有时这些信息必须要经过几次处理之后才能得到我们想要的格式,此时应该如何处置?这就牵涉到 管道命令(pipe) 了。管道命令使用的是|这个界定符号。每个管道后面接的第一个数据必定是命令,而且这个命令必须要能够接受标准输出的数据才行,这样的命令才可为管道命令。接下来我们选取grep、sed、awk这三个用于文本处理的管道命令来进行介绍。这三个命令可谓是Linux下操作文本的三大利器,合称Linux文本处理三剑客。
阅读全文
posted @ 2023-04-18 00:26 orion-orion
阅读(1942)
评论(0)
推荐(2)
编辑
1
2
3
4
5
···
15
下一页
公告