摘要：
Distributed data parallel 1. Preface 首先了解DP（data parallel），DP的本质是先将整个batch加载到主线程上，然后将batch分成小块传输到别的GPU进行工作。（其batchsize为总batchsize） DP将模型参数默认放在GPU- 阅读全文
摘要：
深入研究不平衡回归问题 针对深度不平衡回归这一问题，提出了两种方法： 标签分布平滑 特征分布平滑 传统的解决方案 基于数据的解决方案 对少数样本过采样、对多数样本欠采样 基于模型的解决方案 对损失函数的重加权 一些学习技巧： transfer learning，meta-learning， two- 阅读全文