02 2025 档案
摘要:
DeepSeek-V3 是大语言模型(LLM)领域的一项变革性进展,为开源人工智能设定了新的标杆。作为一个拥有 6710 亿参数的专家混合(Mixture-of-Experts,MoE)模型,其中每个 token 激活 370 亿参数。它引入了多头潜在注意力(Multi-Head Latent Attention,MLA)、无需辅助损失的负载均衡以及多 token 预测等创新技术,DeepSeek-V3 在编程、数学和推理任务中展现出了前所未有的能力。本文将深入探讨其架构、训练策略、创新点以及实际应用场景。
阅读全文
