模型蒸馏：把大模型的能力装进小模型
一句话定位：蒸馏是能力转移技术——让小模型（学生）学大模型（老师）的输出，把老师后训练攒下的本事「复印」进一个小得多的躯壳。前置：预训练 → SFT → RLHF 全流程——蒸馏的落点通常就是一次 SFT（监督微调）；推理模型——本篇最大的案例是把推理能力装进小模型。
先看一笔「同一份智力，两种租金」的账
用最强的模型跑业务，效果最好，但每次请求都在为参数规模付租金；换小模型，租金降到零头，可它没见过那些高难推理场面，一上强度就露怯。
这个两难横在每个要控制成本的团队面前。
有没有办法让小模型「继承」大模型的某种能力，而不是每次都付大模型的租金？
人类有师徒制——学徒跟着师傅做一遍，手艺就从师傅身上移到了徒弟身上。模型可以照搬这套吗？
可以，而且已经产品化了：让老师模型大量生成高质量的回答（包括完整推理过程），拿这些输出去训练小模型——这就是蒸馏。2025 年最出名的案例是 DeepSeek-R1 把自己的推理能力蒸馏进 1.5B～70B 的开源小模型，让 15 亿参数的小模型在数学竞赛 AIME 上反超了 GPT-4o。先看全景：
图：蒸馏全景——老师经白盒（内部状态）或黑盒（输出文本）两条路把行为转进小模型；学生学成独立上岗
渐进拆解：两条转移通道
白盒蒸馏：把「犹豫」也教给学生
拿得到老师的 logits（对每个候选 token 的打分）时，可以拿到比「最终答案」多得多的东西。这里面藏着所谓「暗知识」——老师说「这里 90% 是『猫』，但还有 8% 像『犬』」——那 8% 不是噪声，是类与类之间相似度的地图；换成语言模型，对应的就是「下一个词」各个候选的概率分布。
经典做法（Hinton 等 2015 年确立）：让学生同时学两样——硬目标（标准答案）和软目标（老师被「温度」调平后的完整概率分布，这个旋钮下文实算），后者把类间关系一并传了过去；也有对齐中间层特征的分支，让学生在「思考过程」的表示上靠近老师。白盒的门槛：要么有老师权重，要么老师至少能输出完整的概率分布——商业 API 给不了。
白盒这条路从 logits 到软目标的数据流，画出来是这样：
图：白盒蒸馏的数据流——老师 logits 里的暗知识（猫 90%、犬 8%）经温度调平成软目标，与硬目标一起教学生；商业 API 给不了这条路
黑盒蒸馏：只有输出，靠「样本量」取胜
只能调 API 时，老师能给的就只剩输出文本。做法朴素到近乎笨拙：让老师海量生成输入-输出对，拿去 SFT 小模型——学生学的是文本。看起来丢掉了暗知识，效果却出奇地好，原因见下文最值钱的问题。工程上的核心变量从「温度」变成了「数据配方」：输入要多难、输出要带不带思维链、多少条才够。
图：白盒与黑盒蒸馏三行对照——老师给什么、学生怎么学、典型案例；LLM 时代主流是黑盒路线
黑盒蒸馏为什么有效：学的是推理模式，不是答案分布
这是本篇最值钱的问题。表面看，学生在「背答案」——把老师输出的分布背下来，换个没见过的问题不就露馅了？但 R1 的蒸馏实验给出了更深一层的证据：学生学到的核心是老师输出里蕴含的推理模式——怎么把大问题拆成小步骤、什么时候自我检验、什么时候推翻重来。这些「行为策略」藏在思维链的文本结构里，而策略是可以迁移的：学生读的是「老师怎么想」，不只是「老师想了什么」。
R1 论文给出过一个关键结论：小模型直接做强化学习，效果反而不如用 SFT 把大模型的推理模式直接抄过来——推理模式的探索太难，让学生自己从零摸索，不如先学一份成熟思路。当然，这条路有边界：学生只能学到数据覆盖到的模式，老师没演示过的领域，蒸馏帮不上忙；有研究提醒，学生连老师自己拿不准的模糊地带都可能表现得更脆。
R1 蒸馏案例：80 万条样本的降维打击
DeepSeek 用 R1 当老师，对 Qwen（1.5B/7B/14B/32B）与 Llama（8B/70B）系列学生做纯 SFT 蒸馏，数据约 80 万条——推理部分由老师生成（约 60 万条），20 万条非推理数据沿用 DeepSeek-V3 的现成数据（论文口径）。战果（同一张蒸馏表，首次答对率）：32B 学生超过 o1-mini，连 1.5B 的小学生都反超了没有长草稿能力的 GPT-4o。
| 模型 | 参数量 | AIME 2024 首答率 |
|---|---|---|
| R1-Distill-Qwen-1.5B | 1.5B | 28.9% |
| R1-Distill-Qwen-7B | 7B | 55.5% |
| R1-Distill-Qwen-32B | 32B | 72.6% |
| o1-mini（对照） | — | 63.6% |
| GPT-4o（对照，无长草稿能力） | — | 9.3% |
说一句工程选型：R1 本身是开源权重模型，理论上可以走白盒，但 R1-Distill 系列实际只用老师输出样本做纯 SFT——黑盒配方已经够用，而且更简单。此前推理模型篇提过这组数字，那里关心的是「推理从哪来」，这里关心的是「转移多便宜」——边界节算这笔账。
蒸馏 vs 微调 vs RAG：三种「让模型更好」的路
三者经常被混为一谈，其实动的是模型的不同层面：
| 路线 | 改的是什么 | 适合的场景 |
|---|---|---|
| RAG | 不改模型，知识放外部库随取随用 | 知识要常更新、要可溯源 |
| 微调（SFT） | 行为习惯：用自己的数据教「该什么格式说话、什么风格办事」，能力基本不动 | 缺举止 |
| 蒸馏 | 能力本身：让小模型获得它原本没有的本事 | 缺能力，且预算只养得起小模型 |
判据一句话：缺知识上 RAG，缺举止做 SFT，缺能力且预算只养得起小模型，才轮到蒸馏。
大白话：RAG 是「开卷考试」（书放桌边随时翻）；微调是「岗前培训」（教一个会做事的人按你公司的规矩做事）；蒸馏是「师傅带徒弟」（师傅的本事学不全，但核心手艺传下来了，徒弟要价只有师傅的零头）。
技术定义：知识蒸馏以老师模型的输出训练学生模型，实现能力转移。白盒以老师 logits 构成软目标，与硬目标加权组成蒸馏损失，温度参数控制软化程度，另有中间层特征对齐分支；黑盒仅以老师输出文本作学生 SFT 数据，胜负手在数据配方与规模。能力转移的机制基础是可迁移行为模式，而非答案分布的逐字复刻。
动手：亲眼看「温度」如何把暗知识挤出来
白盒蒸馏的灵魂是温度参数。用一组 logits 实算，看同一个老师的「犹豫」在不同温度下暴露多少：
import math
logits = [5.0, 2.0, 0.5] # 老师对三个候选词的打分：明显偏爱第一个
def softmax_temperature(logits, T):
scaled = [z / T for z in logits] # 温度除进 logits
m = max(scaled)
exps = [math.exp(z - m) for z in scaled] # 数值稳定写法
total = sum(exps)
return [e / total for e in exps]
for T in (1.0, 2.0, 4.0):
probs = softmax_temperature(logits, T)
print(f"T={T}: " + " ".join(f"{p:.3f}" for p in probs))
# 实算输出：T=1: 0.943 0.047 0.010
# T=2: 0.753 0.168 0.079
# T=4: 0.556 0.263 0.181读法：T=1 时老师几乎「一口咬定」（94.3% 压在首选上），第二三候选的信息被压没了；温度升到 4，首选还有相对优势，但「第二候选其实很像」这件事（4.7%→26.3%）被明显放大——软目标之所以比标准答案多教东西，教的就是这部分类间关系。注意边界：温度是训练期调软标签的旋钮，与采样里控制生成随机性的温度是同一个数学操作、两种用途——蒸馏用它放大信息，生成用它控制随机。
把这组实算画成条形，「挤出来」的过程一眼可见：
图：温度实算的可视化——同一组 logits 下 T=1/2/4 的三组概率，第二候选从 4.7% 放大到 26.3%，暗知识随温度升高逐渐暴露
边界与取舍
什么时候蒸馏比微调划算？
算三笔账：
- 能力账：目标能力老师有、学生没有，蒸馏才有意义；只是格式或风格不对，直接 SFT 自己的数据，不需要老师出场。
- 成本账：蒸馏 = 老师生成数据的一次性推理开销 + 学生 SFT 训练开销。生成侧，约 80 万条蒸馏数据（其中约 60 万条由老师生成）是一次批量推理任务，远低于强化学习动辄数百万次量级生成尝试的算力（对齐路线约为 RL 十分之一 GPU 时的口径见上方加餐）；训练侧学生越小越便宜——Mobius Labs 团队 2025 年初实测，1.5B 级学生的再蒸馏训练成本约 3.5 美元、一小时量级（用时与价格随硬件与框架浮动）。
- 回本账：学生部署后每次请求省下的推理费才是持续收益——租金差价的「五分之一」口径见上方加餐。流量越大、老师越贵，差价越划算；低频任务可能永远回不了本。
蒸馏的保真度边界
学生学的是老师的数据覆盖面：老师没演示过的输入分布，学生泛化更脆——有实证研究提醒「蒸馏出的学生并不总是继承老师的稳健性」，上线前要在自己的真实流量上评测，不能只看老师常用的基准榜。另外，用商业 API 的输出训练竞品可能违反服务条款——2025 年围绕 DeepSeek 的争议正出在这里，商用前先读条款。
坏味道预警：把蒸馏当压缩
蒸馏不保证学生继承老师的全部能力——它转移的是数据配方覆盖的行为。把 70B 蒸馏成 7B 然后期待「原地全功能」的团队，通常会在长尾场景翻车。合理预期是：目标域内接近老师，域外明显掉档。
自测
合上文章先自己答，再展开对照：
黑盒蒸馏为什么有效——学生学的是答案分布还是推理模式？
核心是推理模式，答案分布只是载体。老师输出（尤其思维链）里蕴含着可迁移的行为策略：怎么拆解问题、何时自我检验、何时推翻重来——这些「怎么想」的结构藏在文本里，学生通过 SFT 习得的是策略而非逐字复刻。证据：R1 论文里蒸馏出的小模型推理能力大幅跃升（1.5B 反超 GPT-4o 的 AIME 成绩），且论文明确指出小模型直接做大规模强化学习，未必比得上用蒸馏把老师的推理模式抄过来——策略探索太难，先学成熟思路更高效。边界：学生只能学到数据覆盖到的模式，老师没演示过的领域蒸馏帮不上忙，且有研究提醒学生连老师自己拿不准的模糊地带都可能更脆——所以上线前要在真实流量上评测。
什么场景下蒸馏比微调划算？成本差多少？
判据是「缺什么」：目标能力老师有、学生没有 → 蒸馏有意义（能力转移）；只是格式/风格不对 → 直接 SFT 自己的数据，不必请老师；知识要常更新 → RAG。成本结构：蒸馏 = 老师生成数据的一次性推理开销 + 学生 SFT 训练开销；微调只有训练开销但买不到新能力。量级参考：R1 蒸馏用约 80 万条样本（约 60 万推理 + 20 万非推理，论文口径）；蒸馏对齐路线的训练开销约为强化学习路线的十分之一 GPU 时（Qwen3 报告口径，经 2026 年社区综述转述）；1.5B 级学生再蒸馏实测约 3.5 美元、一小时量级（Mobius Labs 团队 2025 年初实测，随硬件浮动）。收益端是持续的推理费差价——同能力域内 8B 级学生每 token 约为 70B 级老师的五分之一上下（2026 年中公开牌价），流量越大回本越快；低频任务可能永远回不了本。
参考与延伸
- Hinton、Vinyals、Dean《Distilling the Knowledge in a Neural Network》（2015）：温度与软目标的奠基论文 — arxiv.org/abs/1503.02531
- DeepSeek《DeepSeek-R1》（2025）：80 万条样本蒸馏 Qwen/Llama 系列与蒸馏表战果 — arxiv.org/abs/2501.12948
- OpenAI《Model Distillation in the API》（2024-10）：蒸馏产品线（Stored Completions → Evals → 微调） — openai.com/index/api-model-distillation
- Badri、Shaji（Mobius Labs）《Re-Distilling Smaller DeepSeek R1 Models for Better Performance》（2025-01）：1.5B 学生再蒸馏实测约 3.5 美元、约 1 小时 — dropbox.github.io/r1_redistill_blogpost（官方页 mobiusml.github.io 已失效，此为存续镜像）
- Stanton 等《Does Knowledge Distillation Really Work?》（2021）：蒸馏保真度与泛化边界的实证提醒 — arxiv.org/abs/2106.05945
- Paniego《Distillation in 2026 (so far)》（HuggingFace 社区文章，2026-07）：师徒制成为推理训练主流的综述（Qwen3 报告「约 1/10 RL GPU 时」口径的转述出处） — huggingface.co/blog/sergiopaniego/distillation-2026
下一站：动手主线：从零预训练一个小模型——炼成、调教、对齐、转移，这一路看下来，终章轮到自己动手：从一行代码开始预训练一个小到能跑的模型。