Skip to content

Retrieval Heads Meet Vision: Uncovering How VLMs Locate and Extract Visual Information ​

  • 来源: https://arxiv.org/abs/2608.27417
  • 本地PDF: ../raw/2026-08-27-retrieval-heads.pdf
  • 参考链接: 无
  • 日期: 2026-08-27
  • 标签: interpretability, attention-heads, visual-grounding, vlm, mechanistic
  • 研究方向: 多模态大模型 → 机制可解释性 → 视觉检索头
  • 作者: Chanho Park, Daehyeon Choi, Jihyun Lee, Minhyuk Sung (KAIST / Independent Researcher)
  • 提交日期: 2026-08-27 (v1)
  • 会议/期刊: arXiv preprint
  • 代码: 未公开(截至精读时)
  • 项目主页: 无

摘要 ​

问题: LLM 中的 "retrieval heads"(Wu et al., ICLR 2025)已被证明是长上下文事实性的因果载体,VLM 中也有 OCR Heads / VERA / Localization Heads 等类似发现,但都局限于文本文档类输入,且未验证因果性——自然图像上的视觉检索由哪些注意力头承担、是否构成通用机制,仍是黑箱。

方案: 提出 Visual Retrieval Heads (VRHs)——VLM 中一个稀疏的注意力头子集(约 1.7-2.6%),对"文本→图像区域"的视觉检索具有因果决定性。检测方法:以视觉定位(visual grounding)为探针任务,给已有 head-scoring 方法建立统一公式(query token 集 × key 聚合 × 跨样本聚合三个设计轴),构造 23 个变体,通过因果验证(mask 掉检测出的头、测定位精度跌幅)选定最优设计 (输出 token, 区域求和, 平均)。

关键创新/贡献:

  • 创新点1: 首个在自然图像上发现"因果性视觉检索头"的工作(前人限于文本文档或未验证因果);
  • 创新点2: 把散乱的 head-scoring 方法统一到一个公式下,用因果验证系统搜索设计空间,而非拍脑袋选指标;
  • 创新点3: 证明 VRHs 的四大性质:跨任务泛化、功能特异性、架构共享性、检测稳定性。

验证: 11 个 VLM(8 种 LLM 骨干)× 5 个定位基准:mask top-20 VRHs 使定位精度掉幅最高达 80 个百分点,mask 随机头几乎无影响;仅 5-10 个标注样本即可稳定复现全量 200 样本的头部排序;同骨干 VLM 间 VRHs 可跨模型迁移(Spearman ≈ 0.9)。


Section 1 / Introduction(引言) ​

背景 & 动机: 注意力头功能特化(functional specialization)是机制可解释性的核心议题。LLM 侧的 retrieval heads 表明:少数头负责把生成答案"检索"回正确的输入证据。VLM 侧已有延伸:OCR Heads(识别图中文字)、VERA(长文档视觉检索)、Localization Heads(自然图像定位,CVPR 2025)——但后者只按注意力空间集中度刻画头,未验证因果性,无法证明它们对定位任务是功能必需的。

本文问题: VLM 中是否存在对自然图像视觉检索真正因果必需的头?如何系统地检测它们?

检测范式: 以视觉定位为探针——模型读入图像 + 指代表达,输出 bbox,IoU>0.5 判对。若某个头的注意力从输出 token(生成坐标的 token)强烈指向指代区域的视觉 token,且 mask 它会导致定位崩坏,则它是 VRH。

四大性质(预告): (i) 跨任务泛化:仅在 RefCOCO 上检测,却因果影响属性识别、空间推理、计数、视觉数学等 7 个 VQA 基准; (ii) 功能特异:mask 后输出格式仍正确但定位错——VLM 版的 "fluent but not factual"; (iii) 架构共享:同 LLM 骨干的 VLM 之间 VRHs 可互相迁移; (iv) 检测稳定:5-10 个样本即达 200 样本的排序质量。


方法输入源是否验证因果
Retrieval Heads (ICLR 2025)文本✓
QRHead文本(input 侧 query)✓
OCR Heads (EMNLP 2025)文本文档✓
VERA (2026)文本文档✓
Localization Heads (CVPR 2025)自然图像✗(按空间熵选头,无因果验证)
VRH (本文)自然图像✓

前人 query token 选择各异(Retrieval Heads 用输出 token、QRHead 用输入 prompt token),本文统一公式后系统对比,发现输出 token 才是因果信号最强的来源。


Section 3 / 方法:VRH 检测 ​

Section 3.1 / 探针任务 ​

样本 s = (I_s, q_s, B_s):图像 + 指代表达 + GT bbox。模型输出 token 序列解析为 B̂^s,IoU(B̂^s, B_s) > 0.5 判对(定位成功率作为核心指标)。

Section 3.2 / Head-scoring 统一公式 ​

把现有方法统一为:给定 query token 集 Q_s 与 key token 集 K_s(与 GT bbox 重叠的视觉 token),逐样本打分后跨样本聚合:

s^l,h=Σs∈S[sl,h(s)],sl,h(s)=1|Qs|Σt∈Qs[Σj∈Ksωl,h(t,j)]

三个设计轴(构造出 23 个变体):

  • Query token 集:输入 prompt token Q_s^in(指定检索目标)vs 输出 token Q_s^out(检索结果在此生成);
  • Key 聚合:argmax 指示函数(最关注的 key 是否落在 K_s 内,二元)vs 区域求和(K_s 上总注意力质量);
  • 跨样本聚合:平均 avg vs 选择频率 freq。

Section 3.3 / 因果验证定设计 ​

注意力对齐 ≠ 因果必需。因果验证协议:对每个变体,mask 其 top-k 头,测定位精度跌幅。结论(Fig 2,4 个 VLM × RefCOCO):

  • 默认设计 (Q_s^out, sum, mean) 的 mask 跌幅最大且跨模型一致;
  • query token 选择是最关键的设计轴:输出 token 变体的头被 mask 后精度跌幅远超输入 token 变体——最强因果信号出现在模型自回归生成 grounded answer 的时刻,而非编码指代表达时;
  • mask 随机头几乎无损(对照组)。

Fig 3 进一步对比:mask VRHs 的跌幅显著大于 Retrieval Heads / OCR Heads / VERA / Localization Heads / 随机头——VRHs 是自然图像视觉检索的特有因果载体。


Section 4 / VRH 的普遍性与稀疏性 ​

普遍性(Universality):11 个 VLM(8 种 LLM 骨干:Qwen2.5、Qwen3、Llama-3、Gemma 2、DeepSeekMoE、InternLM2.5、GLM、Phi)× 5 个定位基准(RefCOCO/+/g、RefSpatialBench、Toloka):mask top-k VRHs 在所有"模型-基准"对上造成大幅掉点,mask 同数量随机头几乎无影响(Fig 4/6)。架构、训练配方、基准分布各异,但视觉检索都依赖同一稀疏头集合。

稀疏性(Sparsity)(Fig 5,RefCOCO):得分不可忽略(>10⁻³)的头不足 15%,高得分(>5×10⁻³)的仅 0-4%——与 LLM retrieval heads 的 "sparse-but-causal" 组织同构。


Section 5 / VRH 的特性刻画 ​

5.1 跨视觉指代任务泛化(Table 3) ​

在 RefCOCO 上检测 VRHs,mask top-20 后测 7 个 VQA 基准(属性 VAW、空间 Spatial457/SpatialRGPT/CV-Bench、视觉理解 MMStar、计数 CountBenchQA、视觉数学 MathVista)——全部大幅下降,随机头 masking 基本无影响。以 Qwen2.5-VL-7B 为例(Δ 为相对基线变化):

条件VAWSpatial457SpatialRGPTCV-BenchMMStarCountBenchQAMathVista
基线 (k=0)63.868.236.175.158.383.971.5
随机 (k=20)-0.1-1.0+3.4-3.2-1.5+0.2+0.5
VRH (k=20)-23.3-32.2-14.3-21.8-10.4-22.4-9.8

Qwen3-VL-8B / InternVL3-8B / InternVL3.5-8B 同样全线下挫(最大 -41.3 on Spatial457)。尽管检测只用 bbox 坐标生成任务,VRHs 承载的是一般性"视觉指代消解"机制。

5.2 功能特异性(Fig 8a) ​

把定位失败分解为两类:parse failure(输出格式坏、无法解析)与 mislocation(语法正确但空间错位)。mask VRHs 后 mislocation 率激增、parse failure 罕见——输出表面流畅但证据内容错误,正是文本 retrieval head "fluent-but-not-factual" 的视觉翻版。说明 VRHs 负责的是"读出正确证据"而非"维持生成能力"。

5.3 架构共享性(Fig 7) ​

三对同骨干 VLM(Qwen2.5-VL-7B↔InternVL3-8B、Qwen3-VL-8B↔InternVL3.5-8B、Magma-8B↔LLaVA-NeXT-Llama3-8B),视觉编码器/投影器/指令微调均不同:

  • 层-头得分图高度相似:top-20 重叠 15/18/14,Spearman 0.909/0.891/0.900;
  • 跨模型 mask 有效:在 A 上检测的 VRHs 按相同 (层, 头) 索引 mask B,同样造成 B 的大幅掉点(Magma-8B 68.8%→0.0%,LLaVA-NeXT-Llama3-8B 85.8%→5.8%)。

→ 视觉检索依赖的是 LLM 骨干中可复用的回路(circuit),而非某个 VLM 的特异实现。

5.4 检测稳定性(Fig 8b/c) ​

  • 输出 token 选择鲁棒:单随机输出 token 与全部输出 token 检测出的 VRHs 因果效力相当(mask 后精度 7.2% vs 7.5%,基线 86.0%);
  • 样本高效:仅 5-10 个标注样本即可恢复与 200 样本几乎相同的 top-ranked 头集合(mask 后跌幅 7.5% vs 7.5%)。

附录 B 还展示:VRHs 可用于 DPO 直接提升视觉定位精度。


Section 6 / Conclusion(结论) ​

VRHs 是 VLM 中稀疏、因果、普遍的视觉检索头:以视觉定位为探针、按"输出 token→GT 区域"注意力打分、经因果验证检测。它们跨任务泛化(属性/空间/计数/数学)、功能特异(只坏定位不坏生成)、架构共享(同骨干可迁移)、检测稳定(少量样本即可)。为理解 VLM 如何"定位并提取视觉信息"提供了首个自然图像上的机制性证据。

局限: ① 基于注意力权重的信号只说明"证据从哪路由",不说明"读出/变换了什么信息"——未来可结合 activation patching / causal mediation 做更细粒度机制分析;② 实验限于单图输入,多图/视频/图文交错场景下的视觉证据路由有待扩展(对高效视觉上下文选择与多模态 cache 压缩有潜在价值)。


个人评价 ​

核心价值: 这是三篇 VLX-Seek 相关文献里最"底层"的一篇——它回答的是"VLM 到底靠什么把文本指代映射到图像区域"。对你理解 VLX-Seek 的"引用式定位"(文本选区域)是机制级支撑:CLIP Tricks You 证明 [EOS] 相似度会骗人、DenseRC 重构 CLIP 密集表征、SpatioLM 激发几何 token,而这篇指出在 LLM 骨干里有一小组头专门干"视觉检索"这件事——四条线索拼出了"文本→区域"通路的完整机制图景。

可借鉴点:

  • "统一公式 + 因果验证"的方法论:不拍脑袋定指标,先把前人方法写成同一公式的三个设计轴,再穷举变体、用 mask 实验做因果筛选。这种"设计空间搜索"写法比单点创新更系统,写方法类论文时可以整套学走。
  • 探针任务选得准:用 visual grounding(有明确 GT bbox、可量化 IoU)作探针,让"注意力对齐"变成可验证命题——选对探针是机制研究成败的关键。
  • 因果验证是试金石:Localization Heads 前人只按空间集中度选头,本文证明其因果效应远弱于 VRHs——提醒你:注意力图好看 ≠ 功能重要,任何"发现重要头/通道"的结论都必须配 mask/消融验证。
  • 对 VLX-Seek 第 8 节"具身智能"的间接支持:VRHs 架构共享(同骨干迁移 Spearman≈0.9)说明"视觉指代回路"是语言骨干的通用能力——换个视觉编码器不影响这条回路,这为"冻结 LLM、只换视觉前端"的 VLX-Seek 式改造提供了机制依据。

实验设计亮点: ① 23 变体 × 因果验证的系统搜索;② 失败分解(parse failure vs mislocation)精准刻画"功能特异性";③ 跨模型迁移实验(Spearman + 跨 mask)一举证明"架构共享"而非"模型特异"。


疑问解答 (Q&A) ​

Q1: VRHs 只占 0-4% 的头,为什么 mask 20 个就能掉 80 个百分点? ​

答: 因为定位任务是"单线程"的——生成 bbox 坐标需要把那几个头的视觉证据精确路由到输出 token,少数头被 mask 后证据链断裂,坐标就退化到空间随机水平(Fig 1 定性例子:语法正确的框打在错误区域)。这也解释了为什么随机头 masking 几乎无损:其余 96%+ 的头不承载这条因果链。注意 80pp 是上限(Qwen2.5-VL-7B 86.0→7.2),具体数值随模型/基准而变(Magma-8B 68.8→0.0 更极端)。

Q2: 为什么 query token 用"输出 token"比"输入 prompt token"好这么多? ​

答: 论文的因果验证(Fig 2)显示输出 token 变体 mask 后跌幅更大更一致。直觉解释:prompt token 只是"编码要检索什么",而输出 token 是检索结果实际生成的位置——证据路由的因果压力集中在生成端。输入 token 的注意力模式可能相关但非因果(编码期的对齐不等于使用期的路由)。这也是与 QRHead(主张 input query)的实质性分歧,本文用实验给出了答案。

补充(2026-11-13,通俗版): 把一次定位拆成两个时刻——读题(输入 prompt token 在理解"the tiny bicycle 指哪个")与落笔(输出 token 在生成坐标 "[463, 150, 552, 358]")。

  • 读题阶段"看着对"的成本很低:可以同时看好几个候选、可以先看错后纠正、可以只是扫一眼存个大概 → "可能用到";
  • 落笔阶段答案必须落成四个数字,错一个就崩,没有替代方案也没有纠正机会 → "必须用到"。

所以因果压力集中在落笔那一刻,按输出 token 选出的头被 mask 后跌幅才大。用考试打比方:判断学生有没有真看那个人,要看他写答案时眼睛往哪看,而不是读题干时的表情。

Q3: "5-10 个样本即可检测"——那 VRHs 会不会只是数据集的小样本伪影? ​

答: 论文用两种证据排除伪影:① 稳定性——n=5/10 恢复的头集合与 n=200 几乎相同,说明注意力签名是强信号而非弱平均;② 跨基准泛化——RefCOCO 检测的头在 RefCOCO+/g、RefSpatialBench、Toloka 上同样因果有效(Fig 4),在 7 个 VQA 基准上同样有效(Table 3)。若只是伪影,不可能跨数据集/跨任务复现。

Q4: VRHs 和 CLIP Tricks You 的 [EOS] attention sink 是一回事吗? ​

答: 不是,发生在不同组件:LiteLVLM 分析的是 CLIP 视觉编码器内文本/视觉 token 的相似度模式;VRHs 是 LLM 骨干(decoder)内的注意力头。但两者结论互补:CLIP 侧的证据是"[EOS] 表示对指代区域不可靠",LLM 侧的证据是"有一组专门头在生成端做视觉检索"。合起来看:视觉证据先在 CLIP 里"编码存起来"(但相似度信号骗人),再在 LLM 里被 VRHs "检索出来"。

补充(2026-11-13): 原答案有一处需精确化——attention sink 发生在 CLIP 文本侧(最后一层 [EOS] 把 0.68 的注意力给 [SOS],给指代词 [RES] 仅 0.14),而"相似度反转"是它的后果([REF] token 与 [EOS] 相似度异常低)。前者是因、后者是果。另外 LiteLVLM 是那篇论文提出的方法名,论文名是 CLIP Tricks You。

用"图书馆"串起流水线:图像 →(CLIP 编目:存)→ 视觉 token →(投影层送书)→(LLM 里 VRHs 检索:取)→ 答案。CLIP Tricks You 研究"编目员的标签 bug"(按高相似度找不到指代区域),VRHs 研究"检索员的工作机制"。由此得三条推论:

  1. VLM 定位仍能做对:即使 [EOS] 相似度信号失灵,VRHs 仍按指代语义取到了正确证据——取的能力弥补了存的信号问题;
  2. 按 [EOS] 相似度剪 token 会崩:剪掉了 [REF] token,证据被删、检索员再能干也没东西可取——这正是 LiteLVLM 要保留低相似度 token 的原因(给检索员留书);
  3. 三条改进路线正交:改"存"(DenseRC 重构 CLIP 密集表征)、改"找"(LiteLVLM 反转相似度)、改"取"(VRH 检测 + DPO),作用在流水线不同环节,可叠加。

Q5: 这个方法能直接用来改进模型吗? ​

答: 论文附录 B 展示了 positive 应用:用 VRHs 做 DPO 提升定位精度。更直接的用法是诊断——mask VRHs 可作为"视觉检索能力探针"来评估任意 VLM 的指代能力。但要注意:本文是分析型工作,VRH 检测本身需要 GT bbox 标注(5-10 个即可),更适合做模型审计与训练信号设计,而非推理期加速(与 LiteLVLM 的 token 剪枝解决的是不同问题)。

Q6: "注意力头功能特化"是什么?为什么"注意力图好看"不等于功能重要? ​

答: 多头注意力把 Q/K/V 投影到 h 个子空间,每个头的参数与注意力图都独立——看同一段输入,但"关注谁"可以完全不同。功能特化就是这些头在训练中自发分化出专职分工(盯句法关系、做 induction、专管把视觉证据送到输出),而不是平均分担同一件事。它是机制可解释性的前提:能力能定位到具体头,才谈得上干预(mask、steering、DPO、剪枝)。

但特化 ≠ 重要,要分两种:冗余特化(有备份,删掉无碍)与因果必需(链上唯一一环,删掉即崩)。本文 VRHs 属后者——mask 后定位掉最多 80pp,随机头几乎无损。

"注意力图好看"正是指"只按特化外观选头"这个误区:某个头的注意力热力图恰好高亮在被指代物体上、集中又干净(熵低、与 GT 框重合),看上去"它显然懂了"。原文批评 Localization Heads 的两句正是此意——"the analysis stops at attention shape"(分析停在注意力形状上)、"characterize heads by spatial concentration rather than by their functional role"(按空间集中度而非功能角色选头)。不可靠的原因有四:① 注意力 ≠ 信息流,残差连接允许绕过,权重只说明"分配了多少",不说明"输出贡献了多少";② 可能只是在复制别的头已提供的信息,删掉无影响;③ 热力图常是挑出的典型样本,平均后差异被糊掉;④ 模型可能学会把注意力放到"看起来该放的地方",真正决策在别的通路。验法:最低门槛是 mask(3.3),更细是 activation patching / causal mediation(把头输出替换为反事实值,看答案是否翻转)。

Q7: 方法三节(3.1 / 3.2 / 3.3)合起来在做什么? ​

答: 三节是一条"定尺子 → 摆候选 → 做裁判"的流水线,单看任何一节都不成立。

3.1 定尺子:用视觉定位当探针——样本 = 图像 + 指代表达 + GT 框,模型输出 token 解析成预测框 B̂^s,IoU > 0.5 判对,定位成功率作核心指标。选它的理由:GT 框让"该看哪些视觉 token"空间显式(正是 3.2 的 key 集 K_s 来源)、可量化、可做因果验证,而开放式 VQA 没有唯一答案。伏笔:"解析成框"本身会失败,这正是 5.2 拆出 parse failure 与 mislocation 的由来。

3.2 摆候选:把前人各自为政的头打分法统一成一个带三个插槽的公式(Eq 1)——key 聚合(argmax 指示 vs 区域求和)→ 对所选 query token 取平均 → 跨样本聚合(avg vs freq),得到每个头分数并排序。三层读作"这一眼看对地方没 → 平均到每个 query token → 汇总到整个数据集"。前人方法即插槽组合(Retrieval Heads / OCR Heads:Q_out + argmax + avg;QRHead:Q_in + sum + avg;VERA:Q_out + sum + avg;Localization Heads 特殊,直接按注意力空间熵选头),组合出 23 个变体。它的价值不是公式本身,而是把"选指标"从主观判断变成可搜索的设计空间。

3.3 做裁判:对每个变体,推理时 mask 掉 top-k 头(注意力置零后归一化,不重训),测成功率跌幅——跌得越狠说明越接近因果必需。结论:默认设计 (Q_out, sum, mean) 跌幅最大且跨 4 个 VLM 一致;query token 是最关键轴(输出 token 远胜输入 token);随机头几乎无损。Fig 3 横向比,VRHs 跌幅显著大于 VERA / OCR / Retrieval / Localization Heads,说明它不是前人方法的子集。

边界:① 只证必要性(mask 会坏),未证充分性(只留 top-k、mask 其余全部的实验没做);② top-20 联合 mask 的跌幅无法分解为单头贡献,可能存在"单删无效、合删才崩";③ 设计选择主要在 4 个 VLM × RefCOCO 上完成,有在该基准上选指标的过拟合风险(Section 4 的跨基准验证缓解但非重选);④ 区域求和可能有物体尺寸偏差(框越大越易累积注意力质量,正文未见按尺寸分层的分析)。