摘要: 降低零阶方法对维度的依赖 对 "Zeroth-order Optimization with Weak Dimension Denpendency" 的note。 阅读全文
posted @ 2024-02-13 23:12 Neo_DH 阅读(32) 评论(0) 推荐(1) 编辑
摘要: Exploring Recursion in Convex Optimization Recursion in optimiaztion. 阅读全文
posted @ 2023-11-18 18:15 Neo_DH 阅读(20) 评论(0) 推荐(1) 编辑
摘要: A brief introduction of Frank-Wolfe 阅读全文
posted @ 2023-10-01 19:52 Neo_DH 阅读(5) 评论(0) 推荐(1) 编辑
摘要: 文章证明在deterministic下强突的线性收敛,以及stochastic下强突的次线性收敛。同时,也用证明了采用TopK压缩之后的收敛情况。文中,作者还讨论了infrequence communication的作用。 阅读全文
posted @ 2022-05-28 13:10 Neo_DH 阅读(104) 评论(0) 推荐(1) 编辑
摘要: 胡思乱想又称胡乱BB,XJB讲,扯到哪算哪,并持一种不论对错、言论自由的理念乱扯一通。 阅读全文
posted @ 2022-05-23 22:13 Neo_DH 阅读(95) 评论(0) 推荐(1) 编辑
摘要: 很推荐大家看原文,Bilevel Problems很常见,能写成对偶形式的问题都属于这种。这篇blog会讲这篇文章大概在做什么,收敛性的证明。 阅读全文
posted @ 2021-12-19 23:02 Neo_DH 阅读(184) 评论(0) 推荐(0) 编辑
摘要: 不要对这篇blog有什么期待,因为不论是paper还是code我都看不懂,尤其是代码。就当翻译记录吧,看看作者干了啥事,有无实现设定的目标 阅读全文
posted @ 2021-12-14 11:16 Neo_DH 阅读(400) 评论(0) 推荐(0) 编辑
摘要: 只能说很像计算机那批人做的,就当看code和想法吧 阅读全文
posted @ 2021-12-08 16:38 Neo_DH 阅读(353) 评论(0) 推荐(0) 编辑
摘要: 将stateless的Tensorflow Federated改写为stateful。其实有点怀疑这样stateless的clients,每次model用完就扔,重新创建model可能要占时间,以及存储。 阅读全文
posted @ 2021-12-07 17:49 Neo_DH 阅读(87) 评论(0) 推荐(0) 编辑
摘要: 介绍如何写IterativeProcess,来定制自己的FL algorithm。之后关于custom Aggregator class和advanced tutorials就不再追加更新了。 阅读全文
posted @ 2021-12-04 18:05 Neo_DH 阅读(610) 评论(0) 推荐(0) 编辑