摘要：
更详细的查看 https://github.com/marsggbo/Megatron-DeepSpeed/blob/main/tutorials/gpt2_wikipedia.md 下载Wikipedia压缩数据集（enwiki-latest-pages-articles.xml.bz2） 再使用 阅读全文
摘要：
下面这边文章讲的非常清晰，原文链接：https://blog.csdn.net/ljp1919/article/details/113616226 阅读全文