把 LLM 拆开给你玩——每个概念配一个能上手的演示器,纯前端、零 API
50 个工具

模型架构(懂原理)

13 个
直觉

采样旋钮

拧 temperature / top-k / top-p,看候选字概率怎么变,再亲手抽一签

去玩 →
直觉

上下文窗口

亲手挤出一个 FIFO 窗口,再感受 N² 的爆炸

去玩 →
原理

Attention 三步

点积 → softmax → 加权求和,看「苹果」怎么被上下文钉成水果

去玩 →
原理

分词

一句话被切成哪些 token?中文和英文谁更费额度

去玩 →
原理

MoE 路由

256 个专家谁接单?看稀疏激活怎么让大模型跑得快

去玩 →
算账

推测解码加速比

拧 α/γ/k 三个旋钮看加速比曲线——γ 抬大头跌穿 1x 的负加速区,k 的甜点一笔算清

去玩 →
原理

草稿验证裁决模拟

预设 8 位草稿各位置 p/q 概率对逐位掷骰按 min(1,p/q) 接受/拒绝——首个拒绝截断、全对白赚 bonus,数轮看平均产量贴上理论 E;已上线 spec-speedup 是加速比公式账,此是裁决过程本身,同一条 E 两边互证

去玩 →
原理

路由塌缩演示

逐轮喂 token 看赢家通吃怎么滚成塌缩——两代负载均衡药方开关对照

去玩 →
直觉

RoPE 快慢针

拧 rope_theta 看各维波长条形随对数横轴实时拉伸——快针管近处词序、慢针管远距离依赖,两档锚点复现文章波长图(base=1 万末组 6283 → 100 万拉到 198692 token)

去玩 →
直觉

缩放与 softmax 饱和

拧 d_k 与缩放开关看 softmax 一家独大——未缩放点积方差贴合 d_k(64 维实测 63.9 → ÷8 后 1.00),最大权重随维度爬向 one-hot(0.84 / 0.94 → 缩放后 0.25),权重条形与点积直方图实时重画

去玩 →
原理

稀疏注意力模式对比

拧查询位置+切滑窗/top-k 索引/块门控/压缩选择,看每种策略对一个查询实际看哪些 token、两笔账随 k 怎么变;远处答案场景看滑窗失忆 vs 索引召回

去玩 →
原理

RoPE 旋转指针

拖两个 token 位置看表盘指针夹角与打分读数——锁差平移 RoPE 读数不动(2.043693 两行相同)、切加性编码对照看同差漂移(2.047734 → 2.790205),快慢针四组可切,文章动手节数字可复现

去玩 →
原理

RoPE 外推相位仪表

训练长度框住每根针见过的弧(4096 只让末维转 4.10 rad≈235°,文章案例逐位复现)——拧训练/目标长度、切直接外推/PI/NTK 三修法,看末维圆盘与四组针标尺:直接外推 469° 越界、PI 贴边回界但刻度密度÷s 需微调、NTK 调 base 末维波长恰好×2 贴边且秒针 θ₀ 不动(免微调的几何);满圈维与不满圈维的判据分野是核心教学点

去玩 →

Harness 工程(Agent 运行时)

9 个
直觉

上下文压缩

会话太长塞不下?看 microcompact 清旧工具结果、autocompact 折叠成摘要,token 账前后对照

去玩 →
原理

模型循环

Agent 干一轮活的全过程——模型想、喊工具、喂回结果、接着想

去玩 →
原理

重试风暴与退避

50 个客户端同时被限流,切三种重试策略重放——看「整点集体重砸」怎么被退避摊薄、被抖动散成细雨

去玩 →
原理

压缩水位线与五级接力

水位逼近触发线看 L1→L5 逐级接力把曲线打回落,拧窗口看触发线移动,freed 记账关掉看 autocompact 误触发

去玩 →
原理

任务状态机推演

点「工具失败」×3 看死循环三段(计数→提醒注入→熔断转 failed),高危步骤提交审批看挂起前落盘、批准读档续跑,叫停后从 Checkpoint 恢复——八状态两条回边亲手推演

去玩 →
原理

工具调用并行调度

一轮六个调用拧依赖标记看并行组重排,开「忽略写冲突」看两个写同文件并行翻车——后写覆盖前写,彼此不看对方输出才配并行

去玩 →
原理

多 Agent 编队与仲裁

切编排形态看主对话上下文收支账(30 文件过程 vs 几百 token 结论、系统 token 15×/4× 口径),仲裁试判先猜再揭晓——一手/新/带验证分量定胜负

去玩 →
直觉

权限裁决漏斗

拧模式/规则/Hook 三开关,提交测试调用走四层漏斗看逐关判词——deny 才是法律,allow 不是通行证

去玩 →
直觉

记忆召回调参

预设 8 条候选记忆(近重复对/90 天过期条目/租户外条目),拧 MMR 的 λ 与时间衰减半衰期看 top-k 注入名单实时重排——λ=1 近重复一起挤进名单、λ=0.7 重复被挤掉、衰减拉满旧条目沉底;租户外条目相关分再高也不进(键位隔离在管线最前,与参数无关)

去玩 →

多模态 LLM

2 个

全景图

2 个

系统工程

5 个
算账

并行训练三本账

拧卡数与 ZeRO 级别看分片省多少显存(DP 106 → Z3 13 GiB),拧流水线段数与微批数看气泡率多大,再算每层激活张量的带宽账——加并行度前先算三笔账

去玩 →
原理

显存碎片与分页

拧长度分布与块大小看预留式 48.7% vs 分页 0.7% 的浪费率对照(seed=42 文章口径可复现),再同池重放请求流看外部碎片怎么把新请求挡在门外

去玩 →
算账

KV 缓存账与重算对照

拧层数/键值头数/头维/精度/会话长看每 token 缓存字节(56 KiB 公式,Qwen2-7B 口径可复现)与会话缓存、追平 7B 权重的交叉点,对照不缓存时每步全量重算的累计账(线性 vs 平方,演示口径)——单请求账,并发账见量化显存与并发账

去玩 →
原理

在线 softmax 单步

一行 16 分数分 4 块逐块流入,看新最大值到来时旧贡献按 exp(m_old−m_new) 缩放、l/acc 实时变化,末步与全行一次 softmax 对照(差 ~1e-16 精确等式);附 N×N 搬运账——FlashAttention 省的是搬运不是计算

去玩 →
直觉

流水线气泡时间网格

段 i 空转前 i−1 格后 p−i 格、中间忙 m 格——时间网格与公式严格同源(空转格 p×(p−1)),拧段数 p 与 micro-batch 数 m 看气泡变薄变厚;文章三档 8 段 m=8/32/64 → 46.7%/17.9%/9.9% 一键对账;m 拆过细则撞「矩阵乘变矮」的计算效率墙(文章权衡);1F1B 压显存气泡率同式

去玩 →

工程实战

5 个
算账

量化显存与并发账

拧参数量×量化位宽看权重显存(7B×FP16=14 GB),拧上下文×并发看 KV 缓存(56 KiB/token),挑一张卡反推可扛并发(打八折)——「权重塞得下、并发上不去」一笔算清

去玩 →
算账

LoRA 参数账

拧 r / 模型规模 / 目标模块看可训练参数占比(Qwen2-7B r=16 全线性 0.62% 可复算,K/V 投影宽度是 kv·head),占比随 r 严格线性、随模块范围陡增;α 不影响参数量只作缩放注记

去玩 →
算账

评估噪声带计算器

拧评估集条数 n 与命中率 p 看 ±1σ 噪声带(√(p(1−p)/n)),拧新命中率 p2 看「提升真实存在 / 淹没在噪声里」翻转——60%→66% 在 n=50 分不清,条数翻四倍波动减半

去玩 →
对比

批处理调度对照

同一串请求(同种子 48 个)喂给两种发车规则并排推演——静态班车凑满 B 才发车、先完成的陪跑到整批最晚落地(琥珀段)、批间有空窗;连续地铁每个 token 步边界先下车再补位。拧批大小/长短混跑/到达节奏看总耗时与延迟差几倍(默认口径 2.1~2.5× 落文章 2~4× 带内),拧到悠闲档看差距消失(低载下班车拼车率甚至更高)

去玩 →
原理

前缀缓存复用树

每条请求沿缓存树逐块匹配——公共前缀命中复用 KV(免 prefill)、分叉后新算;vLLM V1 前缀缓存默认开(零命中损失 <1%)与 SGLang RadixAttention 基数树=同一道题的两种解法(引擎格局节原文);四预设场景 Agent 多轮省 66%(33/50 块)/共享系统提示 50%/并行分支 44%/零命中对照 0% 且不伤人;段条宽度=块数、缓存树 ×n=走过请求数、逐请求步进看树生长(步进=截断序列重跑,时序性严格一致)

去玩 →

Claude Code 工程

3 个

应用层(先会用)

4 个

Agent 质量与生产化

5 个
原理

注入攻防实验室

预设 3 个载荷(藏毒邮件/SQL 多语句/管道下载执行)×三道防线开关(扫描打标/策略管道/脱敏),点放行看攻击逐站走查与终局——只开扫描时 SQL 与管道径直穿过(单点被绕过)、策略管道确定性兜底、全关则外泄;「单点会被绕过、组合才有效」变成可试的攻防,每步留痕可回放

去玩 →
原理

裁判偏差演示

预设一道题两个回答(A 简洁正确/B 冗长含小错)与裁判打分表——切 A/B 出场顺序看 pairwise 判决当场翻转(位置偏差),切一问打分/拆五小问看 B 的字数优势被拆解后反输(冗长偏差),开自评开关看生成模型判自己的卷分数虚高(自我偏好);对策卡一偏一药(换位重判/拆评分维度/做与验收分离)

去玩 →
直觉

灰度分桶演示

10 个预设用户拖灰度比例滑杆(0%~50%)看 MD5 哈希桶位(0–99)实时落人——桶位在比例线以下落新版 v2、以上留旧版 v1,放量只新增不洗牌(老用户永不换版、高亮谁刚被纳入);注入 v2 故障看错误率越线(25%)自动回滚、指针归零全员回旧版且桶位纹丝不动,对照「每次放量重新洗牌」的反例注记

去玩 →
算账

配对比较 bootstrap

预设 6 题×3 轮×2 候选成败矩阵(甲 14/18、乙 17/18,可点格翻转),点重采样跑配对 bootstrap(按题有放回重抽 B=2000)看差值直方图与 95% 区间跨零与否,再切「错误算法:18 次当独立样本」看区间假性变窄——重抽单元是题,不是轮

去玩 →
算账

p95 告警线与长尾分布

对数正态长尾延迟(中位数 2s 锚定、σ 拧长尾强度)上拖告警线,看越线占比从「均值线 34% 天天飘红」收到「p95 线最慢的 5%」——均值被长尾抬到比 p90 还松是文中断言的直账;第二笔账拧观测窗样本量 n 看 p95 估计从「n=20 退化成近似最大值乱跳」收敛到真值(先观测后定线要的就是这么多样本);最近秩分位数真公式

去玩 →

训练与对齐

2 个