摘要：
DeepSeek 对 DeepSeek-V3 模型进行了多项性能测试。在知识领域，基于教育类基准测试（如 MMLU、MMLU-Pro 和 GPQA）中，DeepSeek-V3 表现优异，分别取得了 88.5、75.9 和 59.1 的高分，超越了所有其他开源模型，并在性能上接近封闭模型如 GPT-4 阅读全文
摘要：
总的来说，在预训练阶段，DeepSeek-V3 每处理 1 万亿个词元仅需 18 万小时的 H800 GPU 时间，使用配备 2048 块 H800 GPU 的集群，只需 3.7 天即可完成。整个预训练耗时不到两个月，总计使用 266.4 万 GPU 小时。此外，上下文长度扩展耗费 11.9 万 G 阅读全文
摘要：
“在预训练阶段，我们使用了 14.8 万亿高质量、多样化的文本对 DeepSeek-V3 进行了训练……随后，分两阶段对其上下文长度进行了扩展。”DeepSeek 在技术论文中提到，“第一阶段将上下文长度扩展到 32K，第二阶段进一步扩展到 128K。在此基础上，我们对 DeepSeek-V3 进行 阅读全文
摘要：
就在今天，素来被硅谷视为“来自东方神秘力量”的中国大模型创业公司 DeepSeek 再次悄悄惊艳了国内外的 AI 技术圈，其重磅发布了一个全新的超大规模模型——DeepSeek-V3。 这个新模型拥有 6710 亿个参数，但采用了 MOE（混合专家）架构，能根据任务需求激活特定参数，每处理一个词元激 阅读全文
