2018年4月9日

摘要: 一般有2种并行模式:数据并行(Data parallelism)和模型并行(model parallelism). 在模型并行化( model parallelism )方法里,分布式系统中的不同机器负责单个网络模型的不同部分 —— 例如,神经网络模型的不同网络层被分配到不同的机器。 在数据并行化( 阅读全文
posted @ 2018-04-09 16:14 allcloud 阅读(501) 评论(0) 推荐(0) 编辑

导航