推理模型：测试时计算与 RLVR

一句话定位：推理模型是「回答前先写长草稿」的模型——靠 RLVR（可验证奖励的强化学习）练出多想一会儿的习惯，用推理时算力换正确率。前置：预训练 → SFT → RLHF 全流程——RLVR 是对 RLHF 第三步「裁判怎么当」的重写；Scaling Law（规模定律）的旋钮③「推理时计算」在这里展开。

先看同一道题的两个答案

同一道数学竞赛题，问两个模型。第一个模型几秒内给出答案，格式漂亮，数字是错的；第二个模型沉默十几秒，吐出一大段看起来絮絮叨叨的草稿——「先试试这条路，不对，退回来，换个方向」——最后答案是对的。前一个快而错，后一个慢而对。

这不像同一家产品的两个版本，倒像两种东西。多出来的那十几秒里到底发生了什么？是查了资料，还是纯粹在「想」？

「想」这件事还能被训练吗？毕竟传统训练流水线里，模型学会的都是「输出什么」，没人教过它「怎么思考」。

答案是：推理模型回答前先生成一段长长的内部草稿（思维链），把「想」的过程显式写出来，草稿越长、想得越充分，答案正确率总体越高——LLM 发展史与当前格局里讲过这是「多想一会儿换正确率」，Scaling Law 的旋钮③。而训练出这个习惯的方法叫 RLVR（可验证奖励的强化学习）：不靠人打分、不靠奖励模型，靠「答案能被程序验证」的题目让模型自己练。先看全景：

图：推理模型全景——同一个基座，输出前多了一个内部草稿区，草稿的每个字都是推理时算力，习惯由 RLVR 练成

渐进拆解：从「提示词教」到「强化学习练」

先给全篇一张地图，业界公开课里有个把三个训练阶段一次讲透的类比：一本教科书写着三类信息——正文讲解，读讲解建背景知识，对应预训练；例题详解，看专家一步步解、照着模仿，对应 SFT；章末练习题，只给最终答案不给解法，自己反复试错、摸出路子，对应强化学习。前两类已经成熟，第三类最不标准也最前沿——本篇讲的就是练习题怎么练。

测试时计算扩展：把草稿当成可以加码的资源

Scaling Law（规模定律）把算力投向分了三个旋钮，旋钮③推理时计算的特点是：不改模型本身，每次请求按需付费——本篇标题里的「测试时计算」是它的另一个通行叫法，下文统一用「推理时计算」。推理模型把旋钮③拧出了一个新维度。

差别在怎么花这笔算力：普通模型想提高正确率，只能重新采样几次再投票；推理模型是「一次采样里自己多想」，草稿区里尝试、检验、回退，相当于把一轮轮试错压缩进一段输出里（这是个类比：草稿长度受上下文窗口限制，试错是有限步的）。

为什么「多想」能换正确率？底层前提是每个 token 只能借用一小份固定算力：模型逐 token 生成，产生每个 token 都要走一遍约百层的网络，单次前向传播装不下太重的计算，把推理摊到更多 token 上，每步就都轻——这条因果链的完整归因见LLM 心理学。

在有一定难度、思考预算还没用透的题上，正确率总体随思考投入上升。推到极端就是发展史篇提过的测算（Snell 等人的论文，见文末参考）：同等推理算力、且小模型本就有几分把握的题目上，小模型配上充分思考能胜过大它 14 倍的模型。

先把这一节的空间关系画成图——旋钮③在三个旋钮中的位置，以及同一笔推理算力的两种花法：

图：旋钮③的位置——不改模型、按次付费；同一笔推理算力，普通模型花在重复采样投票，推理模型花在采样内的草稿试错

RLVR：把裁判从「人」换成「规则」

这个习惯是怎么练出来的？回忆 RLHF 全流程的第三步：人类比较标注训出奖励模型，奖励模型当裁判，PPO 四模型闭环——裁判本身是个学出来的神经网络，于是有了两个老大难：训练裁判要海量人类标注，而且裁判会被钻空子（模型学会写裁判爱看的话，分数虚高、能力没涨）。RLVR（Reinforcement Learning with Verifiable Rewards，可验证奖励的强化学习）的思路是绕开裁判：数学题的答案可以程序校验，代码可以跑测试用例，「对不对」根本不需要人评——直接把验证结果当奖励。

DeepSeek 的 R1-Zero 把这条路走到了极端：基座模型直接上 RL，没有任何 SFT（监督微调）、没有任何奖励模型，奖励只有两条——答案对不对（准确性奖励）、思维链和答案有没有分好区（格式奖励）。零 SFT 是极端实验，生产模型里两者是接力：SFT 把模型带进正确解法的邻域（初始化），RL 负责把可靠的那条路精调出来——下文冷启动补 SFT 正是这个分工。

图：RLVR 训练闭环——题目库采样、规则打分、组内比较更新；对照 RLHF 三步压缩成「程序验证」一步，零人类在场

强化学习自己把草稿「写长了」

RLVR 最有意思的发现是：没人教模型「怎么思考」，思考行为是自己长出来的。R1-Zero 的训练日志显示，随着训练推进，模型的平均回答长度持续增长——它自发地发现「想得更久、答案更对」，于是越写越长。训练中期还出现了著名的「顿悟时刻」：模型在草稿中途突然插入「等等，等等——」式的自我打断，推翻当前路线重来——反思与回退不是工程师写进系统的，是 RL 奖励信号自己塑造出来的。

图：R1-Zero 训练曲线——平均回答长度随训练自发增长，中期出现草稿中途自我推翻的「顿悟时刻」

RL 的这股威力不是新发现，围棋早就演示过一遍：AlphaGo 的模仿版（监督学习人类棋谱）涨到人类顶尖水平就到顶了——模仿不可能超过模仿对象；转向自我对弈强化学习后一路碾压，远超人类最强。最著名的那手 Move 37，人类棋手下出它的概率被评估为约万分之一，事后被证明是神之一手：RL 不受人类分布约束，能找到人类之外的策略。推理模型押注的，是同一件事在开放域思考上的重演。

三种思维链，出处完全不同

「先分步分析再给结论」这个行为，在三个地方各有一次变体，容易混为一谈：

教样子——提示词层思维链：提示词工程里的技巧——在提示里加一句「一步步来」，普通模型就会被引导出分步输出。每次都要重新教，深度受模型底子限制。

仿样子——SFT 思维链：拿人工写的高质量推理范例微调，模型模仿示范的样子。学得像但容易照猫画虎——范例没有的路径就不会走。

练本能——RL 思维链：推理模型的形态——奖励只看最终答案对不对，中间过程模型自己探索出来。会自我检验、会回退、会换路。

三个层次递进：前两个是行为模仿，最后一个是策略习得。

把草稿能力装进小模型的蒸馏路线已经跑出了实打实的战绩：DeepSeek 用 R1 当老师蒸馏出的 15 亿参数小模型（R1-Distill-Qwen-1.5B），在 AIME 2024 上拿到 28.9% 的答对率，反超没有长草稿能力的 GPT-4o（9.3%）——小模型带上「练本能」的草稿，能跨档打赢大模型（数字出自 R1 论文蒸馏表，机制见模型蒸馏专篇）。

从 R1-Zero 到 R1：补上冷启动与全场景数据

R1-Zero 证明了纯 RL 能练出草稿，但它的草稿可读性差、且只会解题。R1 的完整配方是四个阶段：

1. 冷启动 SFT：先用数千条高质量长草稿做冷启动，解决基座模型不会「起笔」的问题。
2. 推理 RL：推理导向强化学习，草稿里中英文夹杂时，加语言一致性约束。
3. 拒绝采样 + 全场景 SFT：大量生成、只留答得好的，攒成新训练集，再做一轮全场景 SFT。
4. 全场景 RL：推理题用规则裁判，其他场景回到奖励模型。

效果上（两个数字都出自 R1 论文的评测表对比）：

• R1 在 AIME 2024 数学竞赛上拿到 79.8% 的首次答对率，压过 OpenAI o1 的 2024 年 12 月正式版（o1-1217）的 79.2%；
• 前辈 DeepSeek-V3（不写长草稿）同题只有 39.2%。

把这条补课路线画成位置图——起点是纯 RL 留下的两个短板，四个阶段各补一程，终点才是完整版 R1：

图：R1-Zero 到 R1 的演进位置——纯 RL 的两个短板由四阶段分别补上，终点是 AIME 79.8% 的完整版 R1

大白话：普通模型是「抢答型选手」，听完题立刻作答，快但容易错；推理模型是「打草稿型选手」，草稿纸无限供应，先写满一页草稿再抄答案上卷。RLVR 是那个只看最终卷面分数的教练——不指导草稿怎么写，写错了就重来，练着练着，选手自己悟出一套草稿方法论。

技术定义：推理模型指输出最终答案前先生成长思维链、以推理时计算换答案质量的模型。RLVR 用程序化验证器（答案比对、测试用例）替代学习型奖励模型，以验证结果为奖励做强化学习——规则确定、无需人类标注与裁判模型，规避奖励模型被钻空子的主要来源。代表配方：DeepSeek-R1 的四阶段。

动手：算一笔「多采样还是多思考」的账

推理时算力有限时，钱该花在「同一题重问 64 遍投票」还是「一次长思考」？DeepSeek-R1 论文的评测表与蒸馏表基线列恰好都有 AIME 2024 的数字，直接对账：

# AIME 2024 答对率（%），出自 R1 论文评测表与蒸馏表基线列
v3_pass1 = 39.2         # DeepSeek-V3（无草稿）一次采样
r1_pass1 = 79.8         # DeepSeek-R1（长草稿）一次采样
gpt4o = (9.3, 13.4)     # GPT-4o：一次采样 → 采样 64 次投票（cons@64）
claude = (16.0, 26.7)   # Claude-3.5-Sonnet：同上

# 方式 A：多采样投票——总采样成本 ×64
print(f"GPT-4o：×64 成本，正确率 {gpt4o[1] - gpt4o[0]:+.1f} 个百分点 → {gpt4o[1]}%")
print(f"Claude：×64 成本，正确率 {claude[1] - claude[0]:+.1f} 个百分点 → {claude[1]}%")
# 方式 B：一次长思考——草稿动辄数千 token（约普通短答的十倍量级）
print(f"同门基座 V3 → R1：草稿数千 token，正确率 {r1_pass1 - v3_pass1:+.1f} 个百分点 → {r1_pass1}%")

账本读法：方式 A 把 64 倍的采样算力花下去，两个模型分别只买到 4.1 和 10.7 个百分点——多采样投票救不了模型本来不会的题（没把握的题重问多少遍，众数还是错的）；方式 B 在同一个基座上（R1 正是由 V3 基座训出的，这组对比近似控制变量）用数千 token 的草稿买到 40.6 个百分点——当然这 40.6 里含整套后训练的贡献，不全是「想得久」的功劳，但方向账足够清楚：难任务上，长思考的边际收益远高于重复采样。

反过来的账也要算：草稿动辄数千 token，简单题上全是白花的算力（「想过头」，见下文边界节）——所以 2026 年的主线是自适应思考（见上方加餐）。

边界与取舍

什么时候该用推理模型？

判据就是 RLVR 的裁判边界：题目有客观对错（数学、代码、逻辑、数据分析）→ 推理模型收益显著；开放域（写作、翻译、闲聊、创意）→ 没有可验证的「标准答案」，长草稿大概率是花更多的钱和等待时间，产出与普通模型相当甚至更啰嗦。成本敏感的高频简单任务（分类、抽取、格式转换）同理——草稿区对它们是纯开销，简单题上还会「想过头」，越想越错。

可验证奖励怎么防钻空子？

RLVR 用规则裁判换掉了「奖励模型被钻空子」的老问题，但规则本身成了新的攻击面，防线有三层：

1. 奖励只挂「最终答案」与「格式分区」：思维链内容不参与打分，模型没法靠把草稿写得讨喜来刷分（这是格式奖励存在的深层理由）。
2. 验证器本身要当被测对象：答案不能在题目上下文里泄漏（否则模型学会「抄题目里的答案」而非推理）；代码题的测试用例要覆盖边界（否则模型学会「糊弄过几个样例」）；验证器要用独立题库测试自己的对错。
3. 接受「可验证域」的边界：验证器覆盖不了的领域不要硬上 RLVR，那是把钻空子的空间重新打开。

残余风险依然存在（验证器自身的 bug、过拟合到题库风格），所以推理模型的评测必须用训练时没见过的题源。

别和「测试时训练」混为一谈

推理时计算是「参数不动、多花算力」；另一条常被一起提起的路线是测试时训练（test-time training）——推理期就地更新参数。现在的模型训练完即冻结，唯一的学习是窗口内的上下文学习，而窗口是有限且昂贵的资源：长视频、长任务的 token 需求会爆，只靠拉长上下文撑不住。让参数在推理期继续学是针对这个墙的设想，2025 年前后属于前沿探索，尚无主流落地——看到这两个词并列时，先分清动的算力还是动的参数。

坏味道预警：把思维链当结论读

草稿里的「因为……所以……」未必是因果链条，可能是探索过程的中途试错——把草稿当论据引用会出错；要引用的是草稿之后的最终答案。此外草稿可能包含模型随口试探的错误陈述，直接拿去检索或存档会把探索垃圾当知识沉淀。

自测

合上文章先自己答，再展开对照：

参考与延伸

• DeepSeek《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》（2025-01）：R1-Zero 纯 RL 训练、规则奖励设计、顿悟时刻与完整四阶段配方 — arxiv.org/abs/2501.12948
• OpenAI《Learning to Reason with LLMs》（o1 预览版发布说明，2024-09）：推理模型产品线起点；正式版 o1-1217 的对比数字出自 DeepSeek-R1 论文评测表 — openai.com/index/learning-to-reason-with-llms
• Anthropic 官方文档《Steering thinking》（2026）：自适应思考与努力档位接口 — platform.claude.com/docs/en/build-with-claude/thinking-steering-and-cost
• Snell 等《Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters》（2024-08）：推理时计算接棒的先行论证 — arxiv.org/abs/2408.03314
• Lambert 等《Tulu 3: Pushing Frontiers in Open Language Model Post-Training》（2024-11）：「RLVR」术语与多任务可验证奖励实践 — arxiv.org/abs/2411.15124
• Karpathy《Deep Dive into LLMs like ChatGPT》（视频，2025-02）：教科书类比（正文/例题/练习题）与 AlphaGo 对照的出处 — B 站搬运；YouTube 原片

下一站：DPO / GRPO 等后训练新范式——本篇反复出现的「组内相对比较」就是 GRPO 的核心动作：为什么它能省掉价值模型、DPO 又是怎么把整个强化学习闭环砍成一步的。