密植交叉点账本
Chinchilla 配比只算训练场的账:参数每翻一倍数据也翻一倍,同预算训出的模型全面胜出。但它有个隐藏前提——不算超市的账。密植(过训练)反着来:数据喂到配比的上百倍、模型做得更小,训练多花、推理只有零头。划不划算看请求量:一缓一陡两条成本线的交叉点,就是这门生意的胜负手。
纯前端真公式:C≈6ND(6≈每 token 每参数运算次数)、配比 D=20N、等能力数据需求 D(N)=20·N_c·(N_c/N)^α;文章伪代码锚点 plan(100 万 GPU 时)→61B×1.2T 逐位复现;γ 推理单价系数由文章数据点「十亿次请求→最优压缩 2×」解析标定(页面明示);α=1(能力∝N·D 字面口径→密植无条件占优的荒谬推论)与 α≈1.2(文献等损失线口径)的差异是本页核心教学点。零 API、零延迟。
训练费一次付清,推理费随用量累加—— 一缓一陡两条成本线必然相交。标准配比(Chinchilla:每参数 20 token)训出的是「训练场最优」;密植把数据喂到配比的上百倍、模型做得更小,推理费只有零头。 拧请求量看交叉点落在哪——部署用量决定密植划不划算。
两本账:累计总成本 vs 部署请求量
标准配比大模型 密植小模型(s=2)
交叉点 6 亿 次
当前 10 亿
100 万1000 万1 亿10 亿100 亿
标准配比(100 万 GPU 时)
参数 61.2B × 数据 1.22T(20/参数)
训练费 $2.0M(一次付清)
推理单价 ∝ 参数量(基准)
累计 @ 10 亿:$2.9M
密植 s=2(等能力线补数据)
参数 30.6B × 数据 2.8T(92/参数)
训练费 $2.3M(×1.15,多喂的数据费)
推理单价 = 基准 ÷ 2.0
累计 @ 10 亿:$2.8M ✓ 更省
按 10 亿 次累计请求算:已过交叉点(Q*=6 亿):密植小模型(30.6B)累计省 $162K——训练多花的 $297K 早已被推理费差挣回来。
文章锚点:「按部署后约十亿次请求推算,最优策略就已明显偏离训练配比」——本页把它落成可拧的账:当前 10 亿 次时最优压缩 2.0×(参数 49%);γ(推理单价系数)即由「十亿次 → 压缩 2×」这一个数据点标定,页面明示。
和「Scaling Law 预算分配器」是什么关系
那边是训练场的账:给定预算按 Chinchilla 配比拆参数与数据(C≈6ND 的直接换算); 这边是训练场 + 超市合并的账:训练费一次付清、推理费随量累加,部署用量决定「最优配比」往哪偏。
α 旋钮是本页的关键诚实位:α=1 是「能力∝N·D」的字面推论(密植无条件占优——荒谬);α>1 修正为「数据补参数有效率损耗」才出现交叉点。 α 的文献口径 ≈1.2(Hoffmann 等损失线);「数据几千 token/参数工业复现、上万只见于小型实验」= 文章给的 s 工程上界。