拧 temperature / top-k / top-p,看候选字概率怎么变,再亲手抽一签
去玩 → 直觉亲手挤出一个 FIFO 窗口,再感受 N² 的爆炸
去玩 → 原理点积 → softmax → 加权求和,看「苹果」怎么被上下文钉成水果
去玩 → 原理一句话被切成哪些 token?中文和英文谁更费额度
去玩 → 原理256 个专家谁接单?看稀疏激活怎么让大模型跑得快
去玩 → 算账拧 α/γ/k 三个旋钮看加速比曲线——γ 抬大头跌穿 1x 的负加速区,k 的甜点一笔算清
去玩 → 原理预设 8 位草稿各位置 p/q 概率对逐位掷骰按 min(1,p/q) 接受/拒绝——首个拒绝截断、全对白赚 bonus,数轮看平均产量贴上理论 E;已上线 spec-speedup 是加速比公式账,此是裁决过程本身,同一条 E 两边互证
去玩 → 原理逐轮喂 token 看赢家通吃怎么滚成塌缩——两代负载均衡药方开关对照
去玩 → 直觉拧 rope_theta 看各维波长条形随对数横轴实时拉伸——快针管近处词序、慢针管远距离依赖,两档锚点复现文章波长图(base=1 万末组 6283 → 100 万拉到 198692 token)
去玩 → 直觉拧 d_k 与缩放开关看 softmax 一家独大——未缩放点积方差贴合 d_k(64 维实测 63.9 → ÷8 后 1.00),最大权重随维度爬向 one-hot(0.84 / 0.94 → 缩放后 0.25),权重条形与点积直方图实时重画
去玩 → 原理拧查询位置+切滑窗/top-k 索引/块门控/压缩选择,看每种策略对一个查询实际看哪些 token、两笔账随 k 怎么变;远处答案场景看滑窗失忆 vs 索引召回
去玩 → 原理拖两个 token 位置看表盘指针夹角与打分读数——锁差平移 RoPE 读数不动(2.043693 两行相同)、切加性编码对照看同差漂移(2.047734 → 2.790205),快慢针四组可切,文章动手节数字可复现
去玩 → 原理训练长度框住每根针见过的弧(4096 只让末维转 4.10 rad≈235°,文章案例逐位复现)——拧训练/目标长度、切直接外推/PI/NTK 三修法,看末维圆盘与四组针标尺:直接外推 469° 越界、PI 贴边回界但刻度密度÷s 需微调、NTK 调 base 末维波长恰好×2 贴边且秒针 θ₀ 不动(免微调的几何);满圈维与不满圈维的判据分野是核心教学点
去玩 →会话太长塞不下?看 microcompact 清旧工具结果、autocompact 折叠成摘要,token 账前后对照
去玩 → 原理Agent 干一轮活的全过程——模型想、喊工具、喂回结果、接着想
去玩 → 原理50 个客户端同时被限流,切三种重试策略重放——看「整点集体重砸」怎么被退避摊薄、被抖动散成细雨
去玩 → 原理水位逼近触发线看 L1→L5 逐级接力把曲线打回落,拧窗口看触发线移动,freed 记账关掉看 autocompact 误触发
去玩 → 原理点「工具失败」×3 看死循环三段(计数→提醒注入→熔断转 failed),高危步骤提交审批看挂起前落盘、批准读档续跑,叫停后从 Checkpoint 恢复——八状态两条回边亲手推演
去玩 → 原理一轮六个调用拧依赖标记看并行组重排,开「忽略写冲突」看两个写同文件并行翻车——后写覆盖前写,彼此不看对方输出才配并行
去玩 → 原理切编排形态看主对话上下文收支账(30 文件过程 vs 几百 token 结论、系统 token 15×/4× 口径),仲裁试判先猜再揭晓——一手/新/带验证分量定胜负
去玩 → 直觉拧模式/规则/Hook 三开关,提交测试调用走四层漏斗看逐关判词——deny 才是法律,allow 不是通行证
去玩 → 直觉预设 8 条候选记忆(近重复对/90 天过期条目/租户外条目),拧 MMR 的 λ 与时间衰减半衰期看 top-k 注入名单实时重排——λ=1 近重复一起挤进名单、λ=0.7 重复被挤掉、衰减拉满旧条目沉底;租户外条目相关分再高也不进(键位隔离在管线最前,与参数无关)
去玩 →拧卡数与 ZeRO 级别看分片省多少显存(DP 106 → Z3 13 GiB),拧流水线段数与微批数看气泡率多大,再算每层激活张量的带宽账——加并行度前先算三笔账
去玩 → 原理拧长度分布与块大小看预留式 48.7% vs 分页 0.7% 的浪费率对照(seed=42 文章口径可复现),再同池重放请求流看外部碎片怎么把新请求挡在门外
去玩 → 算账拧层数/键值头数/头维/精度/会话长看每 token 缓存字节(56 KiB 公式,Qwen2-7B 口径可复现)与会话缓存、追平 7B 权重的交叉点,对照不缓存时每步全量重算的累计账(线性 vs 平方,演示口径)——单请求账,并发账见量化显存与并发账
去玩 → 原理一行 16 分数分 4 块逐块流入,看新最大值到来时旧贡献按 exp(m_old−m_new) 缩放、l/acc 实时变化,末步与全行一次 softmax 对照(差 ~1e-16 精确等式);附 N×N 搬运账——FlashAttention 省的是搬运不是计算
去玩 → 直觉段 i 空转前 i−1 格后 p−i 格、中间忙 m 格——时间网格与公式严格同源(空转格 p×(p−1)),拧段数 p 与 micro-batch 数 m 看气泡变薄变厚;文章三档 8 段 m=8/32/64 → 46.7%/17.9%/9.9% 一键对账;m 拆过细则撞「矩阵乘变矮」的计算效率墙(文章权衡);1F1B 压显存气泡率同式
去玩 →拧参数量×量化位宽看权重显存(7B×FP16=14 GB),拧上下文×并发看 KV 缓存(56 KiB/token),挑一张卡反推可扛并发(打八折)——「权重塞得下、并发上不去」一笔算清
去玩 → 算账拧 r / 模型规模 / 目标模块看可训练参数占比(Qwen2-7B r=16 全线性 0.62% 可复算,K/V 投影宽度是 kv·head),占比随 r 严格线性、随模块范围陡增;α 不影响参数量只作缩放注记
去玩 → 算账拧评估集条数 n 与命中率 p 看 ±1σ 噪声带(√(p(1−p)/n)),拧新命中率 p2 看「提升真实存在 / 淹没在噪声里」翻转——60%→66% 在 n=50 分不清,条数翻四倍波动减半
去玩 → 对比同一串请求(同种子 48 个)喂给两种发车规则并排推演——静态班车凑满 B 才发车、先完成的陪跑到整批最晚落地(琥珀段)、批间有空窗;连续地铁每个 token 步边界先下车再补位。拧批大小/长短混跑/到达节奏看总耗时与延迟差几倍(默认口径 2.1~2.5× 落文章 2~4× 带内),拧到悠闲档看差距消失(低载下班车拼车率甚至更高)
去玩 → 原理每条请求沿缓存树逐块匹配——公共前缀命中复用 KV(免 prefill)、分叉后新算;vLLM V1 前缀缓存默认开(零命中损失 <1%)与 SGLang RadixAttention 基数树=同一道题的两种解法(引擎格局节原文);四预设场景 Agent 多轮省 66%(33/50 块)/共享系统提示 50%/并行分支 44%/零命中对照 0% 且不伤人;段条宽度=块数、缓存树 ×n=走过请求数、逐请求步进看树生长(步进=截断序列重跑,时序性严格一致)
去玩 →拧 --allowedTools 白名单 × --permission-mode 档位 × --permission-prompts 三旋钮,工具请求卡看每张落放行/拒绝/卡死哪格——白名单可实测「git diff* 误放 git diff-index」的前缀坑,提问类在无人值守下只有卡死或被拒;与权限裁决漏斗分工:那边管交互会话(弹窗有人点),这边管无人值守(没人能批)
去玩 → 原理切换命令内容×脚本出口(正常执行/exit 2/exit 1/未装 jq)单步走 stdin→分支→退出码→终局——exit 2 是唯一拦截码(连 JSON allow 都压不过),未装 jq 高亮 fail-open「防线敞开」:脚本表面 exit 0 正常,rm -rf 已被放行
去玩 → 算账滑杆设任务噪声/分身自读/报告长度/并行数,两条上下文占用条对照「自己做 vs 派分身」,标净省/净亏与盈亏平衡点 N*=P×(自读+报告)——「协调成本是真实的税」的量级,拧滑杆跨过平衡点看净省/净亏翻转才有手感
去玩 →语义平面点查询句看余弦排序(0.8/0.6/0.1 与文章对账),改写实验看换说法动不动排名,E-4021/E-4022 双路对照看向量路被骗、关键词路分对
去玩 → 对比同一修 bug 任务两条轨迹并排——无刹车版自报完成带 bug 退出(假完成),刹车版 verify 拦截→失败回填→继续循环→真完成,外加同参数打转 ×3 被异常检测掐断
去玩 → 对比同一篇报销政策三档切块(固定长/段落标题/语义),拧 size 与 overlap 看关键句被斩断、一块混多主题的高亮,联动检索看哪种切法静默召回失败;注意区分于 tokenizer 工具的 BPE 子词层(这是检索库文档层)
去玩 → 原理同一查询三路排名并排(向量/BM25/RRF 融合)可切换查询——向量路被编号近邻骗、BM25 真公式对编号精确命中、RRF k=60 融合两路,重排开关看「融合召回快但顺序糙 → 重排准」;E-4021 召回错案例复现
去玩 →预设 3 个载荷(藏毒邮件/SQL 多语句/管道下载执行)×三道防线开关(扫描打标/策略管道/脱敏),点放行看攻击逐站走查与终局——只开扫描时 SQL 与管道径直穿过(单点被绕过)、策略管道确定性兜底、全关则外泄;「单点会被绕过、组合才有效」变成可试的攻防,每步留痕可回放
去玩 → 原理预设一道题两个回答(A 简洁正确/B 冗长含小错)与裁判打分表——切 A/B 出场顺序看 pairwise 判决当场翻转(位置偏差),切一问打分/拆五小问看 B 的字数优势被拆解后反输(冗长偏差),开自评开关看生成模型判自己的卷分数虚高(自我偏好);对策卡一偏一药(换位重判/拆评分维度/做与验收分离)
去玩 → 直觉10 个预设用户拖灰度比例滑杆(0%~50%)看 MD5 哈希桶位(0–99)实时落人——桶位在比例线以下落新版 v2、以上留旧版 v1,放量只新增不洗牌(老用户永不换版、高亮谁刚被纳入);注入 v2 故障看错误率越线(25%)自动回滚、指针归零全员回旧版且桶位纹丝不动,对照「每次放量重新洗牌」的反例注记
去玩 → 算账预设 6 题×3 轮×2 候选成败矩阵(甲 14/18、乙 17/18,可点格翻转),点重采样跑配对 bootstrap(按题有放回重抽 B=2000)看差值直方图与 95% 区间跨零与否,再切「错误算法:18 次当独立样本」看区间假性变窄——重抽单元是题,不是轮
去玩 → 算账对数正态长尾延迟(中位数 2s 锚定、σ 拧长尾强度)上拖告警线,看越线占比从「均值线 34% 天天飘红」收到「p95 线最慢的 5%」——均值被长尾抬到比 p90 还松是文中断言的直账;第二笔账拧观测窗样本量 n 看 p95 估计从「n=20 退化成近似最大值乱跳」收敛到真值(先观测后定线要的就是这么多样本);最近秩分位数真公式
去玩 →滑一组奖励看组均值基线扣除与标准差归一逐步算出每条优势(默认文章的 0.9/0.1/0.6/0.2 → +1.41/−1.09/+0.47/−0.78 可复现)——全对全错组白采、组大小=1 恒零完全失效,规则奖励场景拖组大小看免费基线随 n 收敛,组大小是这套机制的生命线
去玩 → 原理一条 −log σ(β·Δgap) 曲线(技术定义原式)——拧 β 与选中/被拒两个对数概率比,gap 拉大后 σ 贴 1、学习信号枯萎;失效区 β·|Δgap|≥4(右端饱和「教不动」= 离线数据改进空间耗尽的机制形态、左端反向「往反里教」);β 决定饱和早晚(同 gap β=1 已饱和梯度剩 3.6%、β=0.1 还在学习区);梯度解析式与数值差分对账;文案诚实圈定只讲「损失怎么读」
去玩 →