← 关联知识节点:推测解码与 MTP
交互工具 · 原理

草稿验证裁决模拟

推测解码的另一面:不看加速比公式,看裁决过程本身。草稿模型连赌 8 个 token,目标模型一次前向逐位验证——每位以 min(1, p/q) 的概率接受,首个拒绝处截断,全对则验证那次前向白赚 1 个 bonus。掷几轮看截断与白赚的节奏,再批量跑 300 轮,看实测平均产量贴上那条理论 E——正是「推测解码加速比」工具里的同一条公式。

纯前端带种子模拟:逐位按 min(1, p/q) 裁决,拒绝位重采按文章口径简化为「该位由目标模型自己出」并标注;理论 E 与 SpecSpeedupDemo 同式 E = (1−α^(k+1))/(1−α),同种子完全可复现,零 API、零延迟。

草稿模型连赌 8 个 token,目标模型一次前向逐位裁决: 每位以 min(1, p/q) 的概率接受,首个拒绝处截断,全对白赚第 9 个—— 数轮看平均产量逼近理论 E。
seed=7 · 可复现

裁决序列(逐位掷骰)

接受 拒绝(截断) 作废
位 1
p=0.68
q=0.97
· · ·
位 2
p=0.64
q=0.92
· · ·
位 3
p=0.67
q=0.95
· · ·
位 4
p=0.69
q=0.99
· · ·
位 5
p=0.64
q=0.91
· · ·
位 6
p=0.67
q=0.96
· · ·
位 7
p=0.65
q=0.93
· · ·
位 8
p=0.69
q=0.98
· · ·
位 9
bonus
白赚
—

每位预设一组 p/q(目标 / 草稿对该 token 的概率),当前预设下每位接受率 min(1, p/q) = α = 0.70。 拒绝后的重采按文章口径本应按两分布之差抽样,此处简化为「该位由目标模型自己出」并标注。

掷骰逐位动画 · 批量直接记账
已掷轮数 N
0
全对白赚 0 轮
实测平均产出
—
个 token / 轮
理论期望 E
3.199
(1−α^9)/(1−α) · 与加速比工具同式
偏差
—
轮数越多越贴近 0

每轮产出(最近 64 轮)

柱高 = 产出 / 9

还没有轮次——点「掷骰一轮」开始记账。

深青柱 = 全对白赚 bonus(产出 9);琥珀柱 = 开局即拒或只接到 1 位(产出 ≤ 2)。轮数拉满后,柱高的平均水平就是 E。

点「掷骰一轮」:8 位草稿逐位掷骰,按 min(1, p/q) 裁决——接受(青)直落、拒绝(琥珀)当场截断,全对则验证那次前向白赚第 9 个 token。

和「推测解码加速比」工具是什么关系

那边是公式账:E = (1−αK+1)/(1−α)、加速比 = E/(k·γ+1),拧 α/γ/k 直接出答案—— 两边共享同一条 E,本页「理论期望 E」一卡就是它的口径。

这边是过程模拟:把 E 的每一轮来源演给你看——逐位掷骰、首个拒绝截断、全对白赚。 跑够轮数,实测平均产出会贴上同一条 E,公式与过程互为印证。

「输出分布不变」的拒绝采样构造证明留在文字里(见知识库《推测解码》),本页只演裁决过程本身;要算上草稿成本 γ 的净加速,去加速比工具拧旋钮。