摘要：
通信 一、通信机制 分布式机器学习和单机的最大区别就是需要协同多个机器来共同完成模型的训练任务。分布式机器学习一般的分布式计算相比，主要有两个重要的不同点，1）机器学习算法是迭代式的，所以通信频率往往会很高；2）机器学习的优化算法对数据的容错性很高，即少量的数据错误和丢失并不会影响最后的结果，反而可 阅读全文
摘要：
一、数据划分 就数据划分而言，一般有两个维度，一个是对训练样本进行划分，另一个是对每个特征的维度进行划分； 训练样本的划分一般有两种方式：1）第一种是基于随机采样的方法，即有放回的随机采样（有放回才能等价于采样的数据和整体是独立同分布的），对每一个worker采样足够的训练数据；2）第二种是基于置乱 阅读全文