摘要： 预训练数据 我们从各种包含知识的数据源创建语言模型预训练数据集，直到2023年底。我们对每个数据源应用多种重复数据消除方法和数据清理机制，以获得高质量的令牌。我们删除了包含大量个人身份信息（PII）的域名，以及包含已知成人内容的域名。 3.1.1网络数据管理 我们使用的大部分数据都是从网上获得的，我 阅读全文