裁判偏差演示
LLM 判卷是判法谱系的第五档：便宜模型当裁判，但评测研究量化过它的三大已知偏差——位置偏差（同内容换个位置判决就翻转）、冗长偏差（谁长谁得分高）、自我偏好（裁判偏爱像自己风格的答案）。切出场顺序、切打分模式、开自评开关，亲手把三个偏差一个个按出来，再看一偏一药的三条对策：换位重判、拆评分维度、做与验收分离。
纯前端确定性模拟：三大偏差（位置 / 冗长 / 自我偏好）、对策（换位重判 / 拆评分维度 / 做与验收分离）与判卷谱系六级逐字对齐知识库《Agent Eval》判法一节；预设回答与打分表为演示口径（文章未给分数），零 API、零随机。
谱系位置 · 判卷六级阶梯
按成本从低到高六级，LLM 判卷是第五档——便宜模型当裁判，但带着三大已知偏差（高亮行）。
必含要点命中、禁含词零现
JSON 能否解析、字段是否齐全
与上次通过的答案逐字比对
与标准答案做语义比对
按评分维度打分；失效方式：位置、冗长、自我偏好三大偏差
模糊案例与前五档拿不准的部分
预设考题
为什么同一个大模型，每次回答都不一样？
开放式生成任务，没有唯一标准答案——正是 LLM 判卷被用上的场景（有客观判据的题直接用规则判）。
回答 A
简洁正确 · 114 字因为采样是概率抽签：模型每一步给所有候选词一个概率分布，temperature 控制分布的平缓程度，top-k / top-p 决定哪些候选有资格被抽。候选不止一个，每次抽签结果自然不同；把 temperature 调到 0，输出就基本确定。
回答 B
冗长含小错 · 263 字这是个好问题！大语言模型本质上是一台概率机器，每一次输出都像在浩瀚的可能性宇宙里做一次旅行。模型在每一步都会算出一个庞大的概率分布，再从中抽取下一个词，这个过程受多个超参数影响：首先是 temperature（温度），它决定分布的尖锐程度——temperature 越高，分布越尖锐，输出就越确定；其次是 top-k 与 top-p，它们像两道过滤网，把可能性低的候选词筛掉。此外，模型内部的注意力分布也会带来微小波动。所以即使输入完全相同，输出的旅程也各不相同。想要更稳定的输出？建议把 temperature 调高，再把 top-p 收紧。
预设审查标注 · 说反了：temperature 越高分布越平缓、输出越随机，不是「越确定」
预设审查标注 · 由此给的调参建议也是反的：要稳定应调低 temperature
偏差① 位置偏差 · 切出场顺序
Pairwise 模式不绝对打分、只判谁好——位置偏差的量化研究正是在这个设定下做的。同一对回答，只换出场顺序：
A 先出场：裁判判 A 胜。
同内容换个位置判决就翻转——这次判卷不可采信；取不到一致就降级处理：交人工，或拆成小问再判。
偏差② 冗长偏差 · 切打分模式
一问打分：让裁判对整卷给一个总分——B 字数是 A 的约 2.3 倍，冗长偏差让长回答白拿超出质量分。
B 错了两处却比 A 高 1 分——多的分是字数买的，不是质量。
同门裁判的虚高：B +0.9、A −0.3——偏爱像自己风格的答案（演示口径）。
对策 · 一偏一药
位置偏差
同内容换个位置分数就变（2025 年 AACL-IJCNLP 的系统研究给过量化）
A/B 位置互换各判一次取一致
冗长偏差
谁长谁得分高，与质量无关
把「好不好」拆成五六个可独立判断的小问
自我偏好
裁判偏爱像自己风格的答案
生成答案的模型不给判自己的卷——用外部硬判据兜底