05 2022 档案
摘要：简介 机器学习算法需要的数据往往会在不同的设备上产生，并且将数据集中起来是非常困难的，因此，分布式计算就成为了一种可行性方案。但分布式的计算学习会出现各种各样的问题，如下： 困难 分布式训练会导致不同设备训练出来的模型具有不同的分布特性，例如小明喜欢猫，小红喜欢狗，若进行图片分类，小明的模型对识别猫
阅读全文
摘要：简介 机器学习问题经常需要大量的数据来进行模型的处理与改进，而这些数据又来源于世界的各个地方。把全世界的数据汇聚到一个数据中心是不可行的。所以，涵盖许多地区的多个数据中心应运而生。但是，在这些里程上特别远的数据中心网络中，即wide-area networks(WANs)，网络通信的快慢是一个系统性
阅读全文
摘要：简介 Deep Gradient Compression: Reducing the Communication Bandwidth for Distributed Training (arxiv.org) 本文针对当前的分布式机器学习形式提出了以下待解决的困难： bandwidth，梯度信息在节点
阅读全文
摘要：@(差分约束系统与图论的联系) 差分约束系统 1.何为差分约束系统？ 如果一个系统由n个变量和m个约束条件组成，约束条件形如 - ⇐ k(i,j∈[1,n])，则成为差分约束系统。 例如： - ⇐ 5 - ⇐ 2
阅读全文
摘要：Logistic回归 1. 什么是Logistic回归 Logistic是一种常用的分类方法，属于对数线性模型，利用Logistic回归，根据现有数据对分类边界建立回归公式，以此进行分类。 回归：假设现有一些数据点，我们用一条直线对这些点进行拟合，这个拟合过程就称为回归 2. Logistic回归与
阅读全文
