分词
模型不认识字，只认识 token——同一句话，中文和英文的「费额度」差多少、emoji 和生僻字为什么贵，切一遍就看见。点预设例子对照两家分词器的切法，青紫两色就是两个模型的账。
纯前端加载真实分词器（gpt-tokenizer 的 cl100k_base / o200k_base），切法与对应线上模型一致；字节级 BPE 保证 emoji、生僻字都能退回字节表示（淡青残缺片段即字节兜底），机制见知识库《Tokenizer 与分词（BPE）》。零 API。
GPT-4 切
25
cl100k_base
GPT-4o 切
14
o200k_base
4o 省了
11
44%
GPT-4 的切法
25 个 token·敏·捷的·棕色··狐··狸·跳过了··懒··狗。
GPT-4o 的切法
14 个 token敏捷的·棕色狐狸跳过了·懒狗。
完整 token（看得见的字/词/片段）· 残缺字节（半个字符，BPE 没合并）
注意那些 · 块——emoji、生僻字被切成一串残缺字节，正是「一个字烧掉好几个 token」的现场。GPT-4o 的词典给中文做了优化，每字常能压成一个 token，所以中文 token 数明显比 GPT-4 少。