2021年12月2日
联邦学习中的模型聚合
摘要： 联邦学习中的模型聚合 我follow的这篇论文在联邦学习(分布式)的情景下引入了多任务学习，其采用的手段是使每个client/task节点的训练数据分布不同，从而使各任务节点学习到不同的模型，且每个任务节点以及全局(global)的模型都由多个分量模型集成。该论文最关键与核心的地方在于将各任务节点学习到的模型进行聚合/通信，依据模型聚合方式的不同，可以将模型采用的算法分为client-server方法，和fully decentralized(完全去中心化)的方法（其实还有其他的聚合方法没，如另一篇论文提出的簇状聚合方法，我们这里暂时略过），其中这两种方法在具体实现上都可以替换为对代理损失函数的优化，不过我们这里暂时略过。 阅读全文
posted @ 2021-12-02 22:45 orion-orion 阅读(5993) 评论(3) 推荐(0) 编辑
Python：Python对象模型与序列迭代陷阱
摘要： Python：Python对象模型与序列迭代陷阱 Python中的序列迭代有很多陷阱，而这些大都和Python的对象模型和浅拷贝/深拷贝的知识相关。而迭代器返回的是序列中对象的引用，而基础数据类型被二次引用时，一旦副本发生改变，则副本马上被拿去引用一个新对象，此时副本地址就完全和列表元素地址本身独立了。Python中对字典的迭代本质上等值于对列表的迭代，故对于列表的迭代注意事项可以原封不动地搬到字典这里。 阅读全文
posted @ 2021-12-02 09:43 orion-orion 阅读(461) 评论(2) 推荐(0) 编辑