交互工具 · 原理

DPO 损失饱和曲线

DPO 把偏好直接编译成损失：提升选中的概率比、压低被拒的。但每条离线样本能教的东西有限——训练把 Δgap 越推越大，σ 一饱和梯度就趋零，「改进空间很快耗尽」不是比喻，是这条曲线的右端。拧 β 看饱和线怎么移动，再亲手把选中 Δ 拖到头，看一条样本从「学习区」走进「教不动」的全过程。

纯前端真公式：损失 = −log σ(β·Δgap)（技术定义原式）；梯度 dL/dΔgap = −β·σ(−β·Δgap)（页内取幅值，与数值差分对账），峰值 β/2 在 gap=0；失效区判据 β·|Δgap| ≥ 4（σ ≥ 0.982，梯度不足峰值 4%）；小 β 抗饱和（β=0.1 时 gap=10 仅 β·gap=1，梯度还剩 55%）。本页只讲「一条损失怎么读」，β 与隐式 KL 的完整对应留在文章。零 API、零随机。

DPO 把偏好直接编译成损失：−log σ(β·Δgap)， Δgap 是「选中 − 被拒」相对参考模型的对数概率比之差。曲线右端就是饱和区——梯度趋零，一条离线样本能教的东西到头了。拧 β 与两个 Δ，亲眼看「改进空间耗尽」。

β · 偏离幅度系数0.10β 越大推得越狠、饱和来得越早（β·gap ≥ 4 即入区）Δ 选中（对数概率比）3.20训练在推的就是这个数：选中回答比参考模型贵多少Δ 被拒（对数概率比）-0.80这条数据想压低的那个回答

β=0.1 时 gap=10 仅 β·gap=1——小 β 抗饱和，到不了饱和区

损失曲线（纵轴 0–4 nats）与学习信号（淡青，归一）

损失梯度（峰值归一）失效区

Δgap −100（损失 ln2）+10

琥珀底 = 失效区（β·|Δgap| ≥ 4）：右端饱和「教不动」，左端反向「往反里教」。游标 = 当前样本。

当前区

学习中

β·Δgap = 0.40

损失（nats）

0.5130

−log σ(β·Δgap)

σ(β·Δgap)

0.5987

「选中比被拒好」的模型置信度

学习信号

80.3%

梯度 / 峰值（峰值在 gap=0）

Δgap = +4.00（选中 3.20 − 被拒 -0.80），β = 0.10：损失 0.513、梯度还有峰值的 80%——正处在学习区：把选中的概率往上抬、被拒的往下压，这条偏好对还有得学。往右拖「选中 Δ」，看 gap 拉大后这条样本怎么一步步走进饱和区。

这页讲什么、不讲什么

只讲一条损失怎么读：损失 = −log σ(β·Δgap)（技术定义原式），梯度解析式 β·σ(−β·Δgap)（与数值差分对账）、峰值在 gap=0 处 = β/2、恒等式 −log σ(−x) = −log σ(x) + x。不讲：β 与隐式 KL 惩罚的完整对应（那要回到推导），离线/在线路线的全景比较（文章正文与 GRPO 工具那边）。

和「GRPO 组内优势」工具的分工：那边演 GRPO 的组内基线账（在线路线的零件减法），这边演 DPO 的损失形态（离线路线的范式减法）——谱系两端各一件。 σ 用稳定实现（正负分支），全公式实算，零 API、零随机。