LoRA 参数账
LoRA 冻住原模型，只训一对低秩小矩阵 B(d×r) 与 A(r×d)。要训几个参数，三个旋钮说了算：秩 r（占比随它严格线性，翻倍就翻倍）、目标模块给谁（attention-only 与全线性差好几倍——FFN 三投影才是大头）、模型多大（层数与隐藏维一起放大）。拧旋钮，看「万分之一」的说法怎么落成 0.62% 这样的数字。
纯前端算真实公式：LoRA 参数 = 层数 × Σ 各投影 2·d_in·r（K/V 投影宽度 = kv·head，GQA），与知识库《训练三段流水线》动手节 LoRA 参数账逐字对齐（Qwen2-7B 口径 40.4M / 6.53B / 0.62% 可复现）；7B 为文章口径，0.5B / 14B / 72B 为 HF 公开 config.json 配置口径；α 不影响参数量，只作输出缩放注记，零 API、零延迟。
参数账 · 拧 r、模型规模与 α
补丁容量的预算：8–64 起步（实操篇口径），简单任务 8 够、任务杂上 32–64
只当音量键：拧它参数量一克不变，试试点「文章算例」再回来对比
占比 vs 秩 r
7B · 全线性这是一条过原点的直线：占比随 r 严格线性——r 翻倍参数精确翻倍，没有任何弯道。换模型或换模块范围，直线斜率跟着变。
LoRA 参数 = 层数 × Σ 各投影 2·din·r（K/V 投影宽度 = kv·head，GQA）
7B · 全线性投影 · r=16：可训练 40.4M，占挂载投影的 0.62%。两个方向都有谱：秩翻到 32 参数精确翻倍到 80.7M（占比随 r 严格线性）；模块从只挂注意力换成全线性，参数涨 4.0 倍（FFN 三投影是大头）。实操篇口径：r 8–64 起步，用任务评估集的分数曲线决策——r 翻倍收益边际递减就停手，贪大是过拟合加速器。
模块账 · 目标模块给谁
每层投影明细
r=16 · 共 28 层读法：K/V 的输出宽度是 512 而不是 3584（GQA 分组共享键值头），它们的补丁天生更便宜；FFN 三投影占了每层参数的大头——这就是「只挂注意力」与「全线性」差好几倍的原因。
全线性投影是现共识：7B r=16 口径下补丁也只占挂载投影 0.62%，依旧是大模型的零头。QLoRA 论文实验口径：全挂 attention + MLP 才追平 16-bit 全量微调——本页预设「文章算例」就是这个配置（7B · r=16 → 0.62%）。
汇总 · 判定与注记
α 注记（拧上面的 α 旋钮可验证）：α 只当音量键：补丁输出按 α/r = 16/16 = ×1 缩放后再加回原权重，B、A 两块矩阵的参数量一克不变——拧它，上面所有读数纹丝不动。常见口径 α = r（×1）或 α = 2r（×2）。
QLoRA 注记（静态口径，不算假账）：LoRA 省的是「训」的账，QLoRA 再省「放」的账：把冻结底座压到 NF4 四比特（约 0.5 字节/参数），补丁照旧高精度训。文章图 2 的 7B 三档账：全量 ≈112 GB → LoRA ≈20 GB → QLoRA ≈8 GB，24 GB 消费卡从容微调 7B；适配器本体只有几十到几百 MB（按本页 7B 读数，r=16 全线性即 40.4M）。
补丁轻巧：7B 全线性投影 r=16 的补丁只有 40.4M（0.62%）——LoRA 论文对 GPT-3 175B 的口径是「参数降到约万分之一」，倍数不必较成同一个数，但「省下两个数量级」的方向一致。推理时 B·A 可合并回原权重，零额外延迟。