路由塌缩 · 赢家通吃
MoE 有个臭名昭著的病：开局各专家随机略分高下，被多选的专家得到更多训练、变得「更擅长被选」，于是被选得更多——赢家通吃滚到最后一两个专家包场。切三档均衡策略重放同一场训练：无均衡眼看着塌缩、辅助损失防住但专家被迫同质化、偏置调节负载与专业化两全。
纯前端模拟：16 专家、6 类 token、每轮 64 个取 top-2，共 200 轮；带种子可复现，塌缩动力学与两代药方口径对齐知识库《MoE》，零 API。
16 个专家、6 类 token，每轮喂 64 个、路由取 top-2。 被选中的专家获得更多训练、变得更擅长被选——赢家通吃的正反馈就此滚起。 切三档均衡策略跑 200 轮，看塌缩怎么发生、两代药方各付出什么代价。
塌缩演化：最大专家占比随轮次
最大专家负载均衡线 12.5%
终态负载分布：第 200 轮各专家接单占比（均衡应为 12.5%）
200 轮后最大专家占比
24.8%
超均衡一倍半——塌缩
激活熵（1=完全均匀）
0.76
在下滑：激活越来越集中
专业化度（0~1）
0.49
分化：各守自己擅长的单
没有均衡，正反馈滚成塌缩：开局略占优的专家被选更多、训练更多、于是更常被选——最大专家占比一路爬升不回头，激活熵持续下滑。参数一大堆，有效模型却只剩个小号稠密网络。
两代负载均衡药方（正文另一半）
一代 · 辅助损失主损失外加惩罚：谁被选爆了罚谁（Switch Transformer 起普及）。防住塌缩，但惩罚把专业化一起罚掉——专家被迫同质化。
二代 · 偏置调节每专家记一个动态偏置：接单多就降偏置。偏置只影响「谁被选中」，不进梯度、不碰专家学习（DeepSeek-V3 起普及）——负载照样摊平，专业化不挨罚。
怎么读新论文看均衡设计先问一句：惩罚进不进梯度？进——防塌缩但压专业化；不进——专业化保留（严格说 V3 仍留一条只防单序列极端失衡的微量辅助损失）。