摘要:
我们在联邦学习中,经常会假设不同client间的数据集不满足独立同分布(non-iid)。那么我们如何将一个现有的数据集按照non-iid划分呢?我们知道带标签样本的生成分布看可以表示为p(x,y),我们进一步将其写作p(x,y)=p(x|y)p(y)。其中如果要估计p(x|y)的计算开销非常大,但估计p(y)的计算开销就很小。所有我们按照样本的标签分布来对样本进行non-iid划分是一个非常高效、简便的做法。 阅读全文
![联邦学习:按Dirichlet分布划分Non-IID样本](https://img2022.cnblogs.com/blog/1784958/202202/1784958-20220215191423465-2102107118.png)
摘要:
感知机的模型是一个线性分类模型,只能处理线性可分问题(你可以试试让其学习与、或、非等线性可分问题)。可以证明,若两类模式是线性可分的,即存在一个线性超平面能将他们分开,则感知机的学习过程一定会收敛(converge)而求得适当的权向量w;否则感知机学习过程将会发生振荡(fluctuation),w难以稳定下来,不能求得合适解。亦或问题就是一种非线性可分问题。如图d所示,我们无法用线性超平面去将正负样本分隔开。 阅读全文
![深度学习:多层感知机和异或问题(Pytorch实现)](https://img2022.cnblogs.com/blog/1784958/202202/1784958-20220215094706881-1681254380.png)