DeepSeek 基础模型路线综述：从 LLM、MoE、MLA 到 V3.2

背景介绍

DeepSeek 系列论文很多，如果把视觉、多模态、代码、数学和形式化证明都放在一起看，很容易被应用方向淹没。本文先只讨论基础模型线路，也就是 DeepSeek 如何从一个标准 dense LLM，走到以 MoE、MLA、FP8 训练和稀疏注意力为核心的高效基础模型路线。

这条线可以粗略整理为：

1	DeepSeek LLM -> DeepSeekMoE -> DeepSeek-V2 -> DeepSeek-V3 -> Native Sparse Attention / DeepSeek-V3.2

其中 DeepSeek LLM 是起点，DeepSeekMoE 提供 MoE 架构基础，DeepSeek-V2 把 MoE 和 MLA 结合起来，DeepSeek-V3 把这套设计扩展到更大规模并强化训练工程，DeepSeek-V3.2 则进一步把长上下文稀疏注意力和后训练扩展放到同一个系统里。

论文主线概览

论文	时间	模型/方法	关键规模	主要贡献
DeepSeek LLM	2024-01	dense decoder-only LLM	7B、67B；2T tokens	建立通用 LLM 训练闭环，包含 scaling law 分析、预训练、SFT、DPO
DeepSeekMoE	2024-01	MoE 架构	2B、16B、145B 实验	细粒度专家和 shared experts，提升专家分工并降低冗余
DeepSeek-V2	2024-05	MoE + MLA	236B 总参数，21B 激活参数，128K 上下文，8.1T tokens	用 MLA 压缩 KV Cache，用 MoE 降低激活计算
DeepSeek-V3	2024-12	大规模 MoE 基础模型	671B 总参数，37B 激活参数，14.8T tokens	把 V2 路线规模化，引入 auxiliary-loss-free load balancing、MTP 和 FP8 训练工程
Native Sparse Attention	2025-02	可训练稀疏注意力	64K 长序列实验	用压缩、选择和滑动窗口组合降低长上下文 attention 成本
DeepSeek-V3.2	2025-12	DSA + RL + Agent 数据合成	论文强调效率、推理和 agent 表现	在 V3 系列基础上引入 DeepSeek Sparse Attention，并扩展后训练

这几篇论文共同回答一个问题：如果不只靠扩大 dense 参数，基础模型还能怎样提升能力和降低成本？

DeepSeek 的答案不是单点技巧，而是一个组合：

用 MoE 扩大总参数，但限制每个 token 的激活参数。
用 MLA 压缩 KV Cache，降低长上下文解码的内存压力。
用低精度训练、通信重叠、负载均衡等系统工程提高训练吞吐。
用稀疏注意力继续压长上下文 attention 的计算和访存成本。
用 SFT、RL、任务合成等后训练方式释放基础模型能力。

DeepSeek LLM：先完成标准大模型训练闭环

DeepSeek LLM 论文的技术辨识度不在新架构，而在于它把一个开源基础模型项目按比较完整的流程做了一遍：先研究 scaling law，再训练 7B 和 67B 两个常见开源规模的 base 模型，最后通过 SFT 和 DPO 得到 chat 模型。

论文中使用的数据集规模为 2T tokens。模型规模选择 7B 和 67B，基本对应当时开源社区常用的两个档位：7B 便于研究和部署，67B 用来探索更高能力上限。论文报告 DeepSeek LLM 67B 在多个 benchmark 上超过 LLaMA-2 70B，尤其在代码、数学和推理任务上表现更强。

从路线角度看，DeepSeek LLM 的作用是建立基座能力：

数据处理：构建中英为主的大规模预训练语料。
训练流程：完成 base model 预训练。
后训练：通过 SFT 和 DPO 得到 DeepSeek Chat。
评估体系：覆盖通用、代码、数学、推理和开放式评测。

这一阶段的模型仍然接近标准 decoder-only Transformer 路线。它证明团队能够训练完整 LLM，但还没有形成后面 DeepSeek 模型中最有辨识度的“低成本高效率”架构。

DeepSeekMoE：从扩大 dense 参数转向稀疏激活

MoE 的基本动机是：模型总参数越大，容量越高；但如果每个 token 都激活所有参数，训练和推理成本会随 dense 参数一起增长。MoE 把 FFN 拆成多个 expert，每个 token 只路由到部分 expert，从而实现“总参数大、激活参数小”。

传统 MoE 的问题是专家分工不够理想。论文指出，常规 top-\(K\) 路由容易让不同专家学习重复知识，专家没有形成足够清晰的 specialization。DeepSeekMoE 主要做了两个改动：

细粒度专家切分：把原来的 \(N\) 个专家细分为 \(mN\) 个更小专家，每次激活 \(mK\) 个。这样每个 token 可以组合更多细粒度专家，路由选择更灵活。
shared experts：额外设置 \(K_s\) 个共享专家，让它们总是被激活，用来承载通用知识。这样 routed experts 可以少学一些重复的共性知识，更专注于差异化模式。

论文从 2B 参数模型开始验证，DeepSeekMoE 2B 可以达到接近 GShard 2.9B 的效果，而后者具有 1.5 倍专家参数和计算量。论文还把 DeepSeekMoE 扩展到 16B，并报告它用约 40% 计算量达到接近 LLaMA2 7B 的效果。更大的 145B 初步实验也显示，相比 GShard 架构具有明显计算效率优势。

这篇论文是 DeepSeek 基础模型路线的第一个关键转向：能力不再只靠 dense 参数堆上去，而是通过稀疏激活提高参数利用效率。

DeepSeek-V2：MoE 与 MLA 合流

DeepSeek-V2 是基础模型线路中最关键的一跳。它把 DeepSeekMoE 和 Multi-head Latent Attention（MLA）组合到同一个基础模型里，目标非常明确：训练要便宜，推理也要便宜。

论文给出的核心规格是：

总参数：236B。
每个 token 激活参数：21B。
上下文长度：128K tokens。
预训练数据：8.1T tokens。
相比 DeepSeek 67B，训练成本节省 42.5%，KV Cache 减少 93.3%，最大生成吞吐提升到 5.76 倍。

MoE 主要解决 FFN 的计算成本，MLA 主要解决 attention 的 KV Cache 成本。二者对应两个不同瓶颈。

MoE 负责降低激活计算

在 dense Transformer 里，每个 token 都经过同一套 FFN 参数。参数越多，每个 token 的计算也越多。DeepSeek-V2 使用 MoE 后，模型可以拥有 236B 总参数，但每个 token 只激活 21B 参数。这样模型容量来自大规模专家池，计算成本则由激活专家数量控制。

MLA 负责压缩 KV Cache

自回归解码时，模型每生成一个 token，都要读取历史 token 的 key 和 value。上下文越长，KV Cache 越大，解码阶段越容易被显存和内存带宽卡住。

MLA 的思路是把 key/value 的内容信息压到一个低维 latent vector 中缓存，而不是直接缓存完整多头 key/value。对于位置相关信息，MLA 使用解耦的 RoPE key 单独处理。这样可以显著降低每个 token、每层需要缓存的元素数量。

直观理解，MoE 是“不是每次都用全部专家”，MLA 是“不是把完整 KV 都原样存下来”。前者省计算，后者省缓存和访存。DeepSeek-V2 把这两个方向合到一起，形成了后续 V3 的基本骨架。

DeepSeek-V3：把 V2 路线扩展到 671B

DeepSeek-V3 继续使用 MLA 和 DeepSeekMoE，但它的重点不是重新发明一个模型结构，而是把 V2 中验证过的结构扩展到更大规模，并解决训练稳定性、专家负载和硬件效率问题。

论文给出的关键规格是：

总参数：671B。
每个 token 激活参数：37B。
预训练数据：14.8T tokens。
完整训练消耗：2.788M H800 GPU hours。
后训练：SFT 和 RL。

V3 的几个技术点很值得单独看。

Auxiliary-loss-free load balancing

MoE 训练中的一个常见问题是负载不均衡：如果路由器总把 token 分给少数专家，这些专家会过载，其他专家利用率不足。传统做法通常加入 auxiliary loss，强行鼓励专家负载均衡。

但 auxiliary loss 会干扰语言模型原本的训练目标。DeepSeek-V3 提出 auxiliary-loss-free load balancing，希望在不额外引入辅助损失干扰主目标的情况下，仍然维持专家负载均衡。这个设计体现了 V3 的一个重点：MoE 不只是“能跑”，还要在大规模训练时稳定、均衡、少副作用。

Multi-Token Prediction

V3 还引入 Multi-Token Prediction（MTP）训练目标。普通语言模型通常预测下一个 token，MTP 则让模型在训练时预测多个未来 token。论文把它作为提升性能的目标之一。

从直觉上看，next-token prediction 强调一步预测；MTP 给训练过程增加了更远位置的监督信号，有助于模型学习更长范围的局部结构。当然，MTP 在 V3 中不是孤立存在，它和 MoE、MLA、后训练以及系统优化共同作用。

FP8 与系统工程

V3 报告中最容易引起注意的是训练成本。671B 总参数、14.8T tokens 的训练，论文报告只用了 2.788M H800 GPU hours，并且训练过程中没有不可恢复的 loss spike，也没有 rollback。

这部分不只是算法问题，更多是工程问题：低精度训练、通信与计算重叠、专家并行、节点负载均衡、kernel 优化都需要协同。换句话说，V3 的贡献不只是“模型更大”，而是展示了 DeepSeek 如何把架构、训练目标和系统实现压到同一个成本目标下。

NSA 与 DeepSeek-V3.2：长上下文成本继续下探

Native Sparse Attention（NSA）论文关注的是长上下文 attention。标准 full attention 的计算和访存会随上下文长度快速上升，而长上下文又是基础模型越来越重要的能力。NSA 的核心是动态层次化稀疏策略：

粗粒度 token compression：先对历史 token 做压缩，保留全局上下文线索。
细粒度 token selection：再从候选块中选择重要 token 或 token block。
滑动窗口：保留局部最近上下文，避免丢失邻近信息。

NSA 论文强调两个点：一是稀疏 attention 要和硬件优化对齐，不能只在理论复杂度上好看；二是它要可以从预训练阶段端到端训练，而不是只作为推理时的外部近似。

DeepSeek-V3.2 论文把这个方向继续合入模型系统，提出 DeepSeek Sparse Attention（DSA），并把它和可扩展 RL、Agentic task synthesis 放在一起。严格说，V3.2 已经不只是基础模型预训练论文，它同时讨论了推理、Agent 和后训练。但从基础模型路线看，DSA 延续的是 V2/V3 的同一个问题意识：长上下文不能只靠堆显存和算力，必须从 attention 结构本身降成本。

技术路线总结

DeepSeek 基础模型线路的主线不是“从小模型到大模型”这么简单，而是围绕单位计算成本下的有效能力做系统优化。

问题	DeepSeek 路线中的答案
dense 参数继续扩大太贵	用 MoE 扩大总参数，但控制每 token 激活参数
MoE 专家容易重复	用细粒度专家和 shared experts 提高专家分工
长上下文解码 KV Cache 太大	用 MLA 把 key/value 内容信息压缩到 latent vector
MoE 大规模训练容易负载不均	用更精细的负载均衡策略减少对主目标的干扰
大模型训练成本过高	用 FP8、通信计算重叠、专家并行等系统工程压成本
full attention 长上下文成本高	用 NSA/DSA 这类可训练稀疏注意力继续降低成本

如果只抓一个核心判断，我认为 DeepSeek 基础模型路线的重点是：

它不是单纯追求最大参数量，而是把参数规模、激活计算、KV Cache、训练稳定性和硬件效率放在一起设计。

这也是为什么 DeepSeek-V2 和 DeepSeek-V3 比 DeepSeek LLM 更值得细读。DeepSeek LLM 说明团队能训练大模型；DeepSeekMoE、V2 和 V3 则说明团队开始形成自己的成本结构和模型结构偏好。

阅读顺序建议

如果从基础模型角度读 DeepSeek，我建议按下面顺序：

先读 DeepSeekMoE，理解细粒度专家和 shared experts。
再读 DeepSeek-V2，重点看 MLA 如何压缩 KV Cache，以及 MoE+MLA 如何组合。
接着读 DeepSeek-V3，关注大规模训练中的负载均衡、MTP、FP8 和通信优化。
最后读 NSA 和 DeepSeek-V3.2，把长上下文稀疏 attention 放到 V3 系列之后理解。
DeepSeek LLM 可以作为背景阅读，用来了解 DeepSeek 在架构创新前的标准 LLM 训练起点。