人类对客观世界的认识分为“先验”和“后验”。后验是指人类通过经验所产生的认识，而先验是指人类在经验之外通过自身的理性对客观世界的认识。先验和后验的概念贯穿了整个概率论与统计学。在统计学中由于对概率本身看法的不同，也分化为了频率学派和贝叶斯学派，他们的思想正好分别对应于哲学上的经验主义与理性主义。 阅读全文
我们在学习数值线性代数时，学习了当方程的解存在时，如何找到Ax=b的解。但是当解不存在的时候该怎么办呢？当方程不一致(无解)时，有可能方程的个数超过未知变量的个数，我们需要找到第二可能好的解，即最小二乘近似。这就是最小二乘法的数值计算视角。 阅读全文
很简单，右击下方终端面板，选中"将视图移动到侧面板",可以看到终端成功显示到右边了。 阅读全文
在训练模型时我们有时需要以单通道加载训练图片（即灰度图），此时我们只需要设置加载数据集时的transform参数即可。 阅读全文
我们在做机器学习相关项目时，常常会分析数据集的样本分布，而这就需要用到直方图的绘制。在Python中可以很容易地调用matplotlib.pyplot的hist函数来绘制直方图。不过，该函数参数不少，有几个绘图的小细节也需要注意。首先，我们假定现在有个联邦学习的项目情景。我们有一个样本个数为15的图片数据集，样本标签有4个，分别为cat, dog, car, ship。这个数据集已经被不均衡地划分到4个客户端(client)上。 阅读全文
下面我们在深度学习项目情境中展示用lambda函数嵌套法修改函数参数个数的应用。我们这是一个联邦学习项目，有多个client客户端，每个client中都有机器学习模型。我们现在有一份现有的祖传代码不能改动，该祖传代码中client类的初始化函数中需要传入模型类的初始化函数和优化器类的初始化函数（注意，不是模型的对象和优化器的对象），然后在client类的构造函数中完成模型对象的初始化和优化器对象的初始化。 阅读全文
我们时常会遇到这样的情形：我们有一个元素为indices的列表，想通过函数update_indices对其进行更新。不过有点特殊的是，我们想在update_indices中先将列表置空，然后再插入元素。不过，代码运行的结果会出乎我们意料。 阅读全文
因为在我最近的科研中需要用到分布式的社区检测（也称为图聚类（graph clustering））算法，专门去查找了相关文献对其进行了学习。下面我们就以这篇论文IPDPS2018的文章为例介绍并行社区检测算法。目前对于图的簇/社团划分，目前最有名的一种启发式求解方法是基于贪心准则的Louvain方法。在本篇论文中，作者将这个方法扩展到了分布式内存领域进行了并行化。 阅读全文
最近这三个方面的论文都读过，这里写一篇博客归纳一下，以方便搞这几个领域的其他童鞋入门。传统的分布式机器学习已经被研究十几年了，目前各大顶会上的分布式机器学习主要是数学味道很浓的分布式数值优化算法。而联邦学习可以看做一种特殊的分布式学习，它有一些特殊的设定，比普通的分布式学习要困难一些，还是有很多方向可以研究的，做好了应该可以发顶会。多智能体系统是一组自主的，相互作用的实体，它们共享一个共同的环境，利用传感器感知，并利用执行器作动。 阅读全文
Python中字符串前面我们经常看到加r(R)或u/(U)的前缀，而这两个符号是什么意思呢？r意为raw，表示不包含转义字符的原生字符串。r前缀最常见的用途是正则表达式，因为正则匹配的模式经常包含各种反斜杠等字符，我们不希望它被解析为转移字符，因此需要加上'r'。u(U)前缀表示字符串的编码方式为unicode。 阅读全文
