← 关联知识节点:旗舰项目:从零搭一个 RAG 问答系统
交互工具 · 算账

评估噪声带计算器

评估集是考卷,但考卷本身有抽样波动:每条题就是 2 个百分点,50 条时天然波动却约 ±7 个百分点——命中率从 60% 涨到 66%,你分不清是改动有效还是运气。拧条数 n 看噪声带按 √n 收窄(条数翻四倍,波动减半),再拧新命中率 p2,看「提升真实存在 / 淹没在噪声里」当场翻转。

纯前端算真实公式:σ = √(p(1−p)/n),噪声带与最小可分辨提升按 ±1σ / ±2σ 口径切换(默认 ±1σ 与文章「抽样波动」粗算同口径,±2σ ≈ 95% 置信);图 2 四档锚点(±11 / ±7 / ±3.5 / ±2.2pp)与 60%→66% 案例逐字对齐知识库《旗舰项目》「评估先行」一节,零 API、零延迟。

评估集是考卷,但考卷本身有抽样波动:命中率 p 的考卷跑 n 条,得分天然带着 ±1σ 的抖动。拧条数看噪声带按 √n 收窄,再拧 新命中率 p2,亲手把「提升」推进或拉出噪声带—— 60%→66% 在 n=50 分不清是改动有效还是运气,200 条才可信地分辨小改动。
标准误差 σ
±6.9pp
√(p(1−p)/n) @ n=50
±1σ 噪声带
[53.1%, 66.9%]
带宽 13.9pp
最小可分辨提升
≥6.9pp
±1σ 口径 · 提升够它才坐实

命中率标尺

±1σ 噪声带 基线 p 新命中率 p2
基线 60%新 66% · 带内 · 分不清0%25%50%75%100%

拧 n,带子按 √n 收窄(条数翻四倍,波动减半);拧 p2,看菱形滑进滑出噪声带——判定随它翻转。

n 评估集条数50 条

对数刻度 · 文章口径:50 条起步出方向信号,200 条验细节

p 基线命中率60%

上一版在评估集上的命中率——噪声带以它为中心

p2 新命中率66%

改动后的命中率——与基线差 6.0pp,够不着噪声带就分不清

判定口径±1σ = 文章「抽样波动」粗算口径;±2σ ≈ 95% 置信,更严

粗算口径:σ = √(p(1−p)/n) 为二项标准误差的正态近似(文章「±1σ 粗算」同款),判「分不清」是保守口径,不是严格假设检验。

σ = √(p(1−p)/n),噪声带 = p ± kσ,临界条数 n* = k²·p(1−p)/Δ²

文章锚点,点一下复现

淹没在噪声里:涨的 6.0pp 还在 ±1σ(±6.9pp) 噪声带内——命中率 60%→66% 在 n=50 就是这个处境,分不清是改动有效还是运气。波动按 √n 收敛(条数翻四倍,波动减半):这 6.0pp 要坐实,±1σ 口径下 n 至少 67 条(n* = k²·p(1−p)/Δ²)。