摘要：
torch.utils.data.Dataset是一个抽象类，表示一个数据集。自定义的数据集要继承这个类，并且重写__len__和__getitem__方法。 __len__：len(dataset)返回数据集的size。 __getitem__：支持索引，dataset[i]用来获取第i个样本。 阅读全文
摘要：
MXNet 阅读全文
摘要：
论文：https://arxiv.org/pdf/1811.05233.pdf 译文：大规模分布式SGD：瞬间训练完基于ImageNet的ResNet50 摘要 由于大mini-batch训练的不稳定性（为什么不稳定？），和梯度同步的开销，深度学习分布式训练很难线性扩展到拥有大量GPU的集群。我们通 阅读全文
摘要：
论文：http://memray.me/uploads/acl17-keyphrase-generation.pdf 译文：深度关键短语生成 摘要 关键词提供高度总结的信息，可以用来有效地理解、组织和提取文本内容。虽然，前人的工作提供了很多可行的解决办法来自动提取关键短语 介绍 方法 本节介绍深度关 阅读全文
摘要：
论文：https://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf 译文：用神经网络实现序列到序列的学习 摘要 深度神经网络模型在很多困难的学习任务中都取得了优越的表现。虽然在有大量标 阅读全文
摘要：
LSTM 阅读全文
摘要：
RNN（Recurrent Neural Networks）循环神经网络 广泛应用于自然语言处理（NLP，Natural Language Processing） Back Propagation Through Time Vanishing gradient problem LSTM， 长期依赖， 阅读全文
摘要：
NCCL（NVIDIA Collective Communication Library），英伟达多GPU通信库。 参考链接： https://docs.nvidia.com/deeplearning/sdk/nccl-developer-guide/docs/index.html 阅读全文
摘要：
论文：https://arxiv.org/pdf/1710.03740.pdf 译文：混合精度训练 摘要 增加神经网络的size，可以提高准确率。但同时，也加大了训练模型所需的内存和计算量。我们介绍一种使用半精度浮点数来训练深度神经网络的方法，不会损失准确率，也不需要修改超参数。这种方法让内存需求减 阅读全文
摘要：
论文：https://arxiv.org/pdf/1810.11787.pdf 译文：深度神经网络分布式训练指引 摘要 深度学习让人工智能领域取得了很大的进步。但是训练这些深度学习模型需要大量的计算。单机单卡训练ImageNet需要一周。多机分布式训练可以极大地减少训练时间。最近，有2048个GPU 阅读全文