采样旋钮
「模型为什么每次回答都不一样」的答案藏在这三个旋钮里。下面是模型给 10 个候选字算出的原始打分:拧旋钮看分布怎么被拉平、收拢、砍尾,然后自己抽一签——高概率的字是「更常被抽中」,不是「必然被抽中」。
纯前端演示:10 个候选字为预设 logits,softmax 归一、top-k 截断、top-p 核采样全是真实计算,分布确定可复现;抽签为真随机(累积分布 + 随机数),多抽几次对照理论频率。机制口径与知识库《采样:temperature / top-k / top-p》一致——temperature=0 即贪心取最大。零 API。
让 AI 续写:「今天天气真」—— 下面是模型给 10 个候选字算出的概率。拧旋钮,看分布怎么变。
概率分布
基础(T)最终可抽已砍
好
41.5%
热
18.7%
棒
11.3%
差
8.4%
冷
5.6%
闷
4.2%
怪
3.4%
的
2.8%
是
2.3%
不
1.9%
temperature1.00
小→分布陡(只认第一名),大→摊平(小字也有机会)
top-k10
只在前 10 个里抽(全保留)
top-p1.00
只在累积概率达 1.00 的集合里抽(全保留)