← 关联知识节点:推测解码与 MTP
交互工具 · 算账

推测解码 · 加速比计算器

推测解码是「先赌后验」:小模型赌 k 个字,大模型一次前向并行验证,输出分布严格不变。快不快全看一笔账——接受率 α 决定一轮平均白赚几个 token,草稿成本 γ 决定这轮要花多少。拧三个旋钮,看加速比怎么从 3x 一路跌穿 1x 的负加速区。

纯前端算真实公式:加速比 = E/(k·γ+1),E = (1−α^(k+1))/(1−α),与知识库《推测解码》动手节实测数字逐一对账,零 API、零延迟。

小模型先赌 k 个字,大模型一次前向并行验证——输出严格不变,快慢全看 接受率 α、草稿成本 γ、草稿长度 k 这笔账。拧旋钮,看加速比怎么从 3x 一路跌穿 1x。
一轮产出 E
2.77
个 token(验证白赚第 5 个)
一轮成本
1.40
个目标单步(k·γ+1)
加速比
1.98×
逐 token 串行 = 1x

加速比 vs 草稿长度 k

当前 α、γ 负加速区(<1x)
不开推测解码 1x02xk=1: 1.55xk=2: 1.82xk=3: 1.95xk=4: 1.98xk=5: 1.96xk=6: 1.91xk=7: 1.85xk=8: 1.78xk=9: 1.70xk=10: 1.63xk=11: 1.57xk=12: 1.50x1.98×k=1k=4k=8k=12

换 α 或 γ,整条曲线跟着重画:α 抬高整条上移,γ 抬高整条下压——γ 压得够狠时,曲线右端会跌进琥珀色的负加速区。

α 接受率0.70

草稿被目标模型采纳的比例——草稿越贴目标越高

γ 草稿成本0.10

草稿一步 ÷ 目标一步的时间——草稿模型越小越便宜

k 草稿长度4

一次赌 4 个字(当前最优)

加速比 = E / (k·γ + 1),其中 E = (1−αk+1)/(1−α)

文章实测,点一下复现

甜点区:当前 α、γ 下 k=4 恰好最优——再往上加长草稿,白赌的概率就压过收益了。