Scaling Law 与算力预算
一句话定位：Scaling Law 回答「投入怎么换成能力」——参数、数据、推理时计算三个旋钮各拧多少，决定一笔算力预算能买到什么。前置：LLM 发展史与当前格局里转折点①③的两笔账，这里算细。
同样的钱，能买到不一样的模型
听说前沿模型训练一次要花上亿美元，又听说有的开源模型几百万美元就训了出来——比如用约 278.8 万 GPU 时（折合约 558 万美元，仅最终那一次训练跑）训出的开源基座。能力的差距远没有价格差距大。
钱不是线性变成能力的：参数翻一倍、数据翻一倍、算力翻一倍，能力各自涨多少？配比错了，大笔预算会白烧在「更大但没喂饱」的模型上。
投入与能力的兑换比例到底是什么？
这正是 Scaling Law 的地盘——一组从上百次训练实验里拟合出来的经验规律。
图：预算全景——先看左侧的钱从哪进，再看右侧能力从哪出，①②在训练期定死、③按次付费。本篇 ①②③ 指三个投放口，与上一篇转折点编号无关
渐进拆解：从农场说起
类比：农场经营
把训练模型想象成经营农场，一笔总预算分给两件事——①圈的地（参数规模）和②买的肥料（训练数据）。地再大，肥跟不上，庄稼照样长不好；堆肥不圈地，又没有长庄稼的地方。Scaling Law 研究的就是「地与肥怎么配，收成最高」。
例子：Chinchilla 给出标准配比
2022 年之前的行业主流是「圈大地」——参数从千亿涨到五千亿，肥料却没跟上。后来一项训练了 400 多个模型的系统性实验给出配比：参数每翻一倍，训练数据（以 token 计，token 是模型读文本的计数单位，约大半个词一个）也该翻一倍，折算约每 1 个参数配 20 个 token。按这个配比，用同样算力训出的更小模型全面胜出，重要基准 MMLU 高出约 7 个百分点——两种分法的具体对垒见下图。这组结论就是 Chinchilla 定律，「标准配比」从此有了数字。
图：Chinchilla 实验——同预算下「小模型 + 喂饱数据」击败「大模型 + 饿肚子」
但是，标准配比有个隐藏前提——它只算训练场的账，不算超市的账。模型训好后要服务海量请求，①参数越大，每一次推理都越贵。于是出现一个反直觉的操作：密植（术语叫「过训练」）——不把参数往上堆，把数据喂到配比的上百倍，同水准的模型可以做得更小，推理费只有零头。
两本账各算各的，打法在四个地方分岔：
| 对比项 | 只算训练场（Chinchilla 配比） | 连超市一起算（密植） |
|---|---|---|
| 数据配比 | 每参数约 20 token | 每参数数千乃至上万 token |
| 训练费 | 同预算下的最优分法 | 多花——数据量远超配比 |
| 推理费 | 参数大，每个请求都贵 | 模型小，单次推理成本跟着降 |
| 验证到哪 | 400 多个模型的系统实验 | 数千 token 配比工业界复现；上万 token 见于小型实验模型 |
胜负手在请求量：训练费一次付清，推理费随用量累加，一缓一陡两条成本线必然相交——交叉点之后，密植省下的推理费就反超多花的数据费：
图：密植的胜负手——请求量过交叉点后，小模型省下的推理费反超多花的数据费；交叉点落在哪由部署用量决定
按部署后约十亿次请求的账本推算，最优策略就已明显偏离训练配比，转向「训得更小、喂得更久」——新一代开源模型普遍采用这种打法。
配比修正还有一桩余波：参数量从宣传卖点变成了保密数字。单报参数、不报数据配比，说明不了模型成色——甚至反而暴露「训练不足」。上一篇「2023 年起头部模型不再拿参数量当卖点」的根子，就扎在这里（见LLM 发展史与当前格局误区一）。
③第三个旋钮是收成后的深加工。推理时计算不改变模型本身，而是在每次请求时多花算力「细想」——粗粮细做，加工费换品质。它同样服从 scaling 规律，但收益递减：有研究测算，在推理算力对齐、且小模型本就答得上来的题目上，小模型多想一会儿可以胜过 14 倍大的模型。三笔账的关系：①②决定模型「出厂品质」，③决定「每次使用时再买多少品质」——上一篇转折点①（比大）的那笔账，拆开就是这里的①②两笔；转折点③（比会想）对应旋钮③。
为什么接棒发生在 2023 年之后
旧路先撞墙，有三条：
- 配比修正证明此前的大模型普遍「喂不饱」，继续堆参数性价比大跌。
- 高质量文本的供给见顶，肥料快买不到了。
- 单次训练费涨到只有头部实验室玩得起，玩家数量骤减。
新路刚开始兑现：
- 推理时计算的手段接连出现——拉长思维链、同一道题采样多次取最优答案、按步骤自我核查。
- 每种手段都把「多花的算力」直接换成难题上的正确率，而且投入随用随付、不想要就关。
- 前沿实验室顺着这条路加注：从 o1 到后续推理模型，用于推理训练的算力每几个月翻上约 10 倍。
一边边际收益递减，一边刚进入陡峭段，叙事自然换轨——不过这条陡峭段也有顶，研究机构测算约一年内就会触及算力总盘子（时间判断详见上一篇的格局图）。
大白话
Scaling Law 就是「能力购物指南」——钱花在三件事上：把模型做大、把数据喂饱、让答案多想一会儿。前两件训练时一次付清、讲究配比；第三件按次付费、用量自选。
技术定义
Scaling Law 是模型损失（模型预测与标准答案的差距，越小越好）随参数量 N、训练数据量 D、训练算力 C 变化的经验幂律（形如 Loss ≈ a·N^-α + b·D^-β + c）。它不是一步长成的——每进化一代，账本就多算一笔：
| 进化 | 算的是哪笔账 | 给出的答案 |
|---|---|---|
| 幂律拟合（2020 前后） | 训练损失随 N、D、C 怎么降 | 业界读成「圈大地」，参数为王 |
| Chinchilla 定律（2022） | 同一笔算力下的训练配比 | 每 1 参数约 20 token，喂饱的小模型胜出 |
| 推理感知 scaling（2024 起） | 训练之外，部署后的推理费 | 大用量场景转向密植 |
| 推理时计算 scaling（2024 起） | 训练之外，每次请求的思考费 | 第三旋钮入场，品质按次购买 |
四行叠到今天，就是开头那句定位的完整推导——①②③三个旋钮，共同构成算力预算方法论。
动手：算一笔自己的预算账
不到十行的伪代码，把「预算 → 配比」的算术跑一遍（编号对应全景图三旋钮）：
def plan(gpu_hours, price_per_hour=2.0):
budget = gpu_hours * price_per_hour # 总预算（美元）
flops = gpu_hours * 4.5e17 # 每块卡每小时的有效训练算力（含利用率折损）
n = (flops / (6 * 20)) ** 0.5 # ①② Chinchilla：C≈6·N·D（6≈每个token每参数的运算次数），D=20·N
return {"params_B": round(n / 1e9, 1), # 可训参数量（十亿）
"tokens_T": round(20 * n / 1e12, 2)} # ② 配套训练 token（万亿）
print(plan(1_000_000)) # 百万 GPU 时（约 200 万美元）：约 61B 参数 × 1.2T token
# ③ 推理账另算：每次请求成本 ∝ 参数量 × 思考长度——用量大就值得「密植」小模型这张表算三档方案的成本账（决策树管路线，表格管账）：
| 方案 | 前期成本 | 每次使用成本 | 适合 |
|---|---|---|---|
| 纯 prompt 调 API | 几乎为零 | 按次付（模型档位相同时并不最贵） | 需求不确定、量小 |
| RAG 检索增强 | 建索引 + 检索服务 | 检索 + 生成两段 | 知识私有、常更新 |
| 微调小模型 | 一次性训练费 | 最便宜（模型小一档） | 行为模式固定、量极大 |
边界与取舍：定律的三个失效场景
Chinchilla 的配比在三种情况下不再成立，每一种都对应一笔没算进去的账：
其一：只算训练账
推理量巨大时，「配比最优」的模型一生烧掉的推理费远超训练费——该转向密植小模型（见上文推理感知研究）。
其二：假设数据无限且高质量
配比要求的数据量随参数同步膨胀，而高质量文本的供给见顶——数据不够时，主流出路是加大参数（或用重复数据硬训，性价比存疑），配比让位于现实。顺带一提，「数据见顶」本身就是接棒叙事的推手之一：肥料快到头了，深加工的路才刚开。
其三：拿损失当唯一目标
幂律拟合的是训练损失，下游真实能力与损失并非线性对应——有些能力（比如多步数学推理）随损失的改善是台阶式跳变的，损失曲线上完全看不出来。基准分涨不等于你要的能力涨。
落到个人与团队的选择，一棵决策树：
图：预算决策树——读法：从左侧入口沿问题走到右侧三档；绝大多数团队止步于此，自训大模型不在选项内
量级感收尾：百万 GPU 时（约 200 万美元）才够到 61B 参数的配比训练——而个人微调一次小模型只要几个到几百个 GPU 时，RAG 建一次索引几十块钱。自训大模型与微调之间隔着四五个数量级，这就是决策树里「绝大多数团队止步于右侧三档」的算术依据。
留一个钩子：微调与 RAG 各自的完整打法（数据怎么备、成本怎么再省）分别在微调实操与RAG 检索增强两篇展开。
自测
合上文章先自己答，再展开对照：
Chinchilla 最优在什么假设下成立、什么情况下失效？
成立前提：只优化训练算力这一笔账，且数据供给不限、目标是训练损失。失效场景：其一，推理量巨大时——每次推理成本随参数增长，把部署后账本算进来，最优转向「过训练」的更小模型（远超每参数 20 token 的配比）；其二，高质量数据枯竭时——配比要求的数据量跟不上，只能加大参数或多轮重复数据；其三，真实下游能力与训练损失非线性时——损失最优不等于业务目标最优。
为什么 2023 之后叙事从「训更大的模型」转向「推理时多想一会儿」？
两个原因叠加。其一，预训练 scaling 撞上三堵墙：配比修正说明此前的大模型普遍「喂不饱」（堆参数性价比下降）、高质量数据见顶、训练费涨到只有头部实验室玩得起。其二，推理时计算开辟了新的增量维度：同样一个模型，多想一会儿能换来难题上的正确率，且这笔投入按次付费、随用随关——推理算力对齐下，小模型加多想可在本就答得上来的题目上胜过 14 倍大的模型。前一条路边际收益递减、后一条路刚开始兑现，叙事自然换轨。
参考与延伸
- 视频版：动画拆解（约 3 分半）——本篇的交互式演示版，逐节拍推进、可点击回看，支持竖屏模式。
- 《Scaling Laws for Neural Language Models》（2020-01，Kaplan 等）：最早系统拟出损失随参数、数据、算力下降的幂律 — arxiv.org/abs/2001.08361
- Chinchilla 原论文《Training Compute-Optimal Large Language Models》（2022-03，DeepMind）：400 余个模型拟合出的算力最优配比 — arxiv.org/abs/2203.15556
- 《Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws》（2024-01，ICML 2024）：把推理成本计入 scaling law — arxiv.org/abs/2401.00448
- Databricks《How Long Should You Train Your Language Model?》（2024-07）：工业界对配比结论的复现与偏离测试 — databricks.com/blog/how-long-should-you-train-your-language-model
- 《Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters》（2024-08）：第三旋钮的先行论证 — arxiv.org/abs/2408.03314
下一站进入应用层：提示词工程——不花训练费，先把手头模型的现成能力用到极致。