VLM 连接器三派对照
三件套架构的全部秘密，就是「拼接的次序」加「冻结的名单」。三派的分歧点只有一句话：视觉要点以什么形态、多大剂量进入 LLM。并排看三派的机制、剂量与冻结名单，再看 Q-Former 怎么被三笔账送退场——架构选型不再玄学。
纯静态事实对照：每图 token 数为各自论文口径（64 / 32 / 576），冻结名单与退场三笔账逐字对齐知识库《VLM 架构》，零 API、零模拟。
看图说话的模型几乎都是「视觉编码器 + 连接器 + LLM」三件套，三派接法之争全在中间那道接缝：视觉要点以什么形态、多大剂量进入 LLM。 切下面的对照维度，看 Flamingo（64 token）/ BLIP-2（32 token）/ LLaVA（576 token）三派怎么接同一张图，以及 Q-Former 为什么退场。
对照维度 · 三派跟着换内容
三派的分歧点只有一句话：视觉要点以什么形态、多大剂量进入 LLM。看图例读接缝——高亮块就是连接器的位置与形态。
交叉注意力插入
2022Flamingo
两端冻结也能对齐，动 LLM 内部侵入大
视觉特征
64 条要点
LLM 层
× 交叉注意力
LLM 层
在 LLM 的部分层里插入交叉注意力模块：语言 token 作查询、视觉特征作被查对象——像在速记稿旁坐一位随堂翻译，主持人每讲一段，翻译低头现翻给他听。
接缝LLM 内部（部分层插回头通道）
连接器重采样器 + LLM 层内插交叉注意力模块
代价动了 LLM 的内部结构，工程侵入大
查询压缩
2023-01BLIP-2
最省上下文，信息瓶颈 + 训练两段式
冻结编码器
→257 条特征
Q-Former
→32 查询
LLM
32 条摘要卡
32 个可学习查询向量把冻结编码器的几百条特征压成 32 条摘要卡再递进去——像秘书先拿 32 张「问题卡片」去速记稿里各摘一条最相关的信息。
接缝编码器与 LLM 之间（压缩后再递入）
连接器Q-Former，188M 参数 · 32 个可学习查询向量（768 维）
代价摘要卡装不下全部细节，且「问什么」本身要专门训练
线性投影直通
2023 · 主流选点LLaVA / LLaVA-1.5（2023-10）
信息全量保真，对齐数据最省，主流选点
编码器
→576 token
MLP ×2
→LLM
576 条全进
不压缩、不插层，576 个视觉 token 经一层小投影原样排进队伍——就是这道最简单的接缝，此后新一代开源模型基本都回归此路线。
接缝编码器与 LLM 之间（一层小投影直通）
连接器一层线性（LLaVA）→ 两层 MLP（LLaVA-1.5），千万级参数
代价token 剂量最大（576 条全量进上下文）
主流回迁新一代开源 VLM（Qwen-VL 系等）基本都用 MLP 或其变体做连接——方向感：连接器从「重结构」走向「轻结构」，把智能留给两端。
选型口诀默认 MLP 直通：结构最简单、信息最保真、对齐数据最省。只有上下文预算真正紧张（塞视频、塞几十张图）才考虑压缩型，且要接受信息保真的代价——连接器越简单越好。
新探索注脚2025 年起的新探索——多层注入：把编码器多层特征按深度注入 LLM（Qwen3-VL 的做法），可看作直通派的加深版。
坏味道预警凡是想给连接器「加智能」的冲动，先想想三派数年之争的结局。