11.21
看了 Decentralized Federated Learning for Electronic Health Records 这篇论文，我看有港科大就看了，主要是应用，没有啥数学推理。
应用场景： 医疗数据联邦学习，医疗数据高度敏感，不宜泄露，美国的 United States Health Insurance Portability and Accountability Act（HIPPA）法案等禁止了医疗机构和保险公司、算力处理设施交换数据。
在没有可信任的中心服务器的情况下，可以使用 decentralized fedrated learing。
算法流程：
\[\nabla_{\boldsymbol{\theta}_{i}} g_{i}\left(\boldsymbol{\theta}_{i}\right)=m^{-1} \sum_{l=1}^{m} \nabla_{\boldsymbol{\theta}_{i}} f_{i}\left(\boldsymbol{\theta}_{i}, \xi_{l}\right) \tag{2}
\]
\[\boldsymbol{\theta}_{i}^{r+1}=\sum_{j \in \mathcal{N}_{i}} \mathbf{W}_{i j} \boldsymbol{\theta}_{j}^{r}-\alpha^{r} \nabla_{\boldsymbol{\theta}_{i}} g_{i}\left(\boldsymbol{\theta}_{i}^{r}\right)\tag{3}
\]
\[\boldsymbol{\theta}_{i}^{r+1}=\sum_{j \in \mathcal{N}_{i}} \mathbf{W}_{i j} \boldsymbol{\theta}_{j}^{r}-\alpha^{r} \boldsymbol{\vartheta}_{i}^{r}\tag{4a}
\]
\[\boldsymbol{\vartheta}^{r+1}=\sum_{j \in \mathcal{N}_{i}} \mathbf{W}_{i j} \boldsymbol{\vartheta}_{j}^{r}+\left(\nabla_{\boldsymbol{\theta}_{i}} g_{i}\left(\boldsymbol{\theta}_{i}^{r+1}\right)-\nabla_{\boldsymbol{\theta}_{i}} g_{i}\left(\boldsymbol{\theta}_{i}^{r}\right)\right)\tag{4b}
\]
\[\boldsymbol{\theta}_{i}^{r+1}=\boldsymbol{\theta}_{i}^{r}-\alpha^{r} \nabla_{\boldsymbol{\theta}_{i}} g_{i}\left(\boldsymbol{\theta}_{i}^{r}\right)\tag{5}
\]
实验结果：
