推测解码 · 加速比计算器
推测解码是「先赌后验」:小模型赌 k 个字,大模型一次前向并行验证,输出分布严格不变。快不快全看一笔账——接受率 α 决定一轮平均白赚几个 token,草稿成本 γ 决定这轮要花多少。拧三个旋钮,看加速比怎么从 3x 一路跌穿 1x 的负加速区。
纯前端算真实公式:加速比 = E/(k·γ+1),E = (1−α^(k+1))/(1−α),与知识库《推测解码》动手节实测数字逐一对账,零 API、零延迟。
小模型先赌 k 个字,大模型一次前向并行验证——输出严格不变,快慢全看 接受率 α、草稿成本 γ、草稿长度 k 这笔账。拧旋钮,看加速比怎么从 3x 一路跌穿 1x。
一轮产出 E
2.77
个 token(验证白赚第 5 个)
一轮成本
1.40
个目标单步(k·γ+1)
加速比
1.98×
逐 token 串行 = 1x
加速比 vs 草稿长度 k
当前 α、γ 负加速区(<1x)
换 α 或 γ,整条曲线跟着重画:α 抬高整条上移,γ 抬高整条下压——γ 压得够狠时,曲线右端会跌进琥珀色的负加速区。
α 接受率0.70
草稿被目标模型采纳的比例——草稿越贴目标越高
γ 草稿成本0.10
草稿一步 ÷ 目标一步的时间——草稿模型越小越便宜
k 草稿长度4
一次赌 4 个字(当前最优)
加速比 = E / (k·γ + 1),其中 E = (1−αk+1)/(1−α)
文章实测,点一下复现
甜点区:当前 α、γ 下 k=4 恰好最优——再往上加长草稿,白赌的概率就压过收益了。