CLIP Tricks You: Training-free Token Pruning for Efficient Pixel Grounding in Large Vision-Language Models
- 来源: https://arxiv.org/abs/2605.13178
- 本地PDF:
../raw/2026-05-13-clip-tricks.pdf - 参考链接: https://github.com/sejong-rcv/LiteLVLM
- 日期: 2026-05-13
- 标签:
clip,token-pruning,pixel-grounding,lvelm,efficient-inference - 研究方向: 多模态大模型 → 高效推理 → 视觉 token 剪枝
- 作者: Sangin Lee, Yukyung Choi (Sejong University)
- 提交日期: 2026-05-13 (v1),当前 v2 (2026-06-01)
- 会议/期刊: ICML 2026(PMLR 306)
- 代码: https://github.com/sejong-rcv/LiteLVLM
- 项目主页: 无
摘要
问题: LVLM 中视觉 token 占输入的绝大多数(LLaVA 336×336 输入即 576 个,LLaVA-NeXT 达 2880 个,视频更多),推理开销大。已有 token 剪枝方法面向图像理解任务设计,在像素级定位(pixel grounding) 上严重失效——因为定位任务的 token 重要性高度依赖输入文本。
方案: 通过对 CLIP 的深入分析,发现视觉-文本相似度反转(similarity reversal)现象:指代区域(referent)内的视觉 token 与文本 [EOS] 的相似度反而很低(根因是 [EOS] 的 text attention sink——过度关注 [SOS])。据此提出 LiteLVLM:训练无关(training-free)、文本引导的 token 剪枝——保留与 [EOS] 低相似度的 token(恰好覆盖指代区域),再用 [CLS] 注意力贡献恢复上下文 token,并以自适应策略动态分配两类 token 预算。
关键创新/贡献:
- 创新点1: 首个把 token 剪枝扩展到 pixel grounding(图像+视频两个模态)的工作;
- 创新点2: 从 CLIP 对比预训练机制出发解释相似度反转(梯度链式传播 + attention sink),不是经验现象而是有机理依据;
- 创新点3: "低相似度保留 + [CLS] 上下文恢复 + 自适应配比"三件套,即插即用、零训练。
验证: RefCOCO/+/g 上保留 192 token(剪 66.7%)保持 90.3% 性能(最优基线 VisPruner 仅 87.4%),64 token(剪 88.9%)仍保持 79.2%;视频 Refer-DAVIS-17 / Refer-YouTube-VOS 上剪 65.9% 保持 99.5%;66.7% 剪枝下显存降 54.7%、推理加速 22%。
Section 1 / Introduction(引言)
背景 & 动机: LVLM(LLaVA 等)的视觉 token 数量远超文本 token(576 vs <100),高分辨率/视频输入下更甚(2880 / 数千),"是否所有视觉 token 都需要保留"成为效率关键。已有剪枝分两类:文本无关(LLaVA-PruMerge 按与 [CLS] 的相似度保留)与文本引导(TRIM 按与文本嵌入的高相似度保留)。
关键观察(Figure 1):
- LLaVA-PruMerge(文本无关)保留的 token 不在指代区域内 → 定位性能崩;
- TRIM(保留高视觉-文本相似度 token)选中的 token 与指代无关,性能暴跌 10-20%;
- 而低相似度 token 反而与指代区域空间对齐。
→ 定位任务的 token 重要性随指代表达变化,必须文本引导;且引导方向与直觉相反:要保留低相似度 token。
本文贡献:
- 发现文本无关剪枝在 pixel grounding 上失效,论证文本引导剪枝的必要性;
- 分析 CLIP 发现 [EOS] 过度关注 [SOS](attention sink),导致指代区域 token 与 [EOS] 相似度异常低;
- 提出 LiteLVLM——首个面向 pixel grounding 的剪枝方法,图像+视频双模态验证。
Section 2 / Related Work(相关工作)
- LVLM:视觉编码器(CLIP/SigLIP)→ 投影层(MLP/Q-Former)→ LLM;视觉 token 数是推理瓶颈。
- LVLM token 剪枝:按位置分"编码器内剪枝"(LLaVA-PruMerge 等,缩短进 LLM 的序列)与"LLM 内剪枝"(FastV 等,解码中逐层移除)。其中只有 TRIM 用了文本信息,但它保留高相似度 token——恰恰丢了指代区域。
Section 3 / Revisiting CLIP(重析 CLIP)
Section 3.1 / 预备:CLIP 对比学习与梯度流
CLIP 对比损失(图文互向,τ 为可学习温度):
[CLS] 由视觉 token 注意力加权和迭代更新(α₀,ⱼ 为 [CLS] 对第 j 个视觉 token 的注意力权重):
梯度经链式法则回传到各视觉 token,权重正比于其注意力:
→ 对 [CLS] 注意力高的 token,也与 [EOS] 语义对齐得好(Figure 2a 正相关)。
Section 3.2 / 视觉-文本相似度反转(核心发现)
把与 GT mask 重叠 >50% 的视觉 token 定义为 [REF] token(指代区域 token)。在 RefCOCO-val 上把每个 [REF] token 在全部 576 个 token 中按相似度排名(0=最相似,576=最不相似):
- [REF] token 与 [CLS] 的相似度排名靠后(低);
- 与 [EOS] 的相似度排名更靠后(Even lower,Figure 2c)。
机理:对比学习只对齐两个全局 token([CLS]/[EOS]),[REF] token 收到的梯度弱 → 与全局表示相似度低,但保留了更多局部、目标特有的细节——这正是 grounding 需要的。所以"高相似度"选不出指代区域,"低相似度"反而能。
Section 3.3 / 文本注意力 sink(Text Attention Sink)
可视化 CLIP 最后一层 [EOS] 对各文本 token 的注意力(RefCOCO-val 平均):[EOS] 把 0.68 的注意力给了 [SOS],给指代词 [RES] 仅 0.14,给指令词 [USER] 0.15。逐层热图显示该偏置从第一层之后持续存在。
归因:[SOS] 位置固定,而 [RES] token 位置随文本长度/padding 变化。[EOS] 语义贫乏 → 加剧相似度反转。这些现象在全 token 推理时无害,但一旦按文本信息剪 token 就致命。
Section 4 / Method(LiteLVLM)
Section 4.1 / 架构
基于 GLaMM(LLaVA-1.5 + SAM 式 pixel decoder):CLIP ViT-L/14 编码图像,Vicuna-7B 解码文本;LiteLVLM 在投影层前剪枝,只把选中 token Z_v 送进 LLM;LLM 生成 <SEG> token 经 language-to-prompt 层投影进 pixel decoder 空间,与 SAM 编码器的像素级嵌入共同输出分割 mask。
Section 4.2 / 相似度感知的视觉 token 选择
对 N 个输入文本,取各自 [EOS] 嵌入 E_i^T(经文本投影层),与 CLIP 投影后的视觉 token 嵌入 E_j^v 算点积相似度:
保留相似度最低的 k 个 token——它们往往位于指代区域。
Section 4.3 / 上下文感知的 token 恢复
低相似度 token 只编码局部信息,全剪掉会丢失语义与背景上下文。对未保留 token,用其对 [CLS] 的贡献打分([CLS] Query 与 token Key 的点积注意力 × Value 的 L2 范数):
恢复得分最高的 top-k。这些上下文 token 让前景-背景边界更清晰,抑制指代区域外的像素。
Section 4.4 / 自适应 token 选择
对预算 B:先按文本逐个选低相似度 token(各至多 B/2)得候选集 S_i,取交集 S = ∩S_i(多文本时保留各文本共同关注的指代区域);单文本时相似度感知 token 固定占预算 50%;剩余预算用上下文感知 token 补足。该设计随输入文本动态平衡两类 token。
Section 5 / Experiments(实验)
5.1 实验设置
- 基座:GLaMM(微调版),对比方法 TRIM/FastV/LLaVA-PruMerge/VisionZip/SparseVLM/VisPruner 同设定重实现;
- 任务:RefCOCO/RefCOCO+/RefCOCOg(RES,cIoU),Ref-DAVIS-17 / Refer-YouTube-VOS(RVOS,J&F);
- 预算:图像 576(上界)/192/128/64;视频 576/196/81;
- 效率测量:单卡 A100-40GB,端到端推理。
5.2 指代表达分割(Table 1)
| 方法(保留 192 token,剪 66.7%) | Avg. | 相对性能保持 |
|---|---|---|
| GLaMM(576 token 上界) | 75.5 | 100% |
| TRIM | 47.3 | 62.6% |
| FastV | 62.6 | 82.9% |
| LLaVA-PruMerge | 63.1 | 83.5% |
| VisionZip | 65.5 | 86.7% |
| VisPruner | 66.0 | 87.4% |
| LiteLVLM | 68.1 | 90.3% |
- 128 token(剪 77.8%):LiteLVLM 65.5 / 86.8%(次优 VisPruner 61.1 / 80.9%);
- 64 token(剪 88.9%):LiteLVLM 59.8 / 79.2%(次优 VisionZip 52.2 / 69.1%)——激进剪枝下优势拉大到 10 个百分点;
- 576→192 平均分仅掉 9.7%,而 FastV/VisPruner 掉 17.6%/12.6%。
5.3 指代视频目标分割(Table 2-3,VideoGlaMM)
- 保留 196 token(剪 65.9%):Ref-DAVIS-17 J&F 69.2 / 保持 99.5%,Refer-YouTube-VOS 66.5 / 99.5%;
- 保留 81 token(剪 85.9%):分别掉 4.9% / 3.9%,而 VisPruner 掉 13.1% / 10.1%。
5.4 消融(Table 4-5,RefCOCO-val)
| # | 配置 | Avg. |
|---|---|---|
| 0 | 随机剪枝 | 65.0 |
| 1 | 仅上下文感知恢复 | 63.3 |
| 2 | 仅高相似度 token | 52.7 |
| 3 | 仅低相似度 token | 66.1 |
| 4 | 低相似度 + 上下文恢复(完整) | 68.9 |
- #2 vs #3(52.7 vs 66.1)直接实证相似度反转;#1 还不如随机剪——脱离文本的上下文 token 没有判别力;
- 配比实验(Table 5):固定 25%/50%/75% 相似度占比分别 67.6/68.9/68.1,自适应 70.9% 全面最优——单纯堆指代 token 反而掉点。
5.5 效率(Table 6 + 结论)
- 66.7% 剪枝:保持 90.3% 性能,显存降 54.7%,CUDA 时间加速 22%;FLOPs 降超 2×(64 token 时超 3.5×);
- 摘要口径:22% 加速、2.3× 内存削减;
- 因在 LLM 前剪枝,首 token 生成(prefilling)大幅加速,且兼容 FlashAttention(FastV 的 LLM 内剪枝做不到);重要性计算比 VisPruner 更简单。
5.6 定性(Figure 5)
相似度感知 token(红)覆盖指代区域——包括"最短的人"这类需比较推理的表达式;上下文 token(绿)捕获全局背景,二者互补。
Section 6 / Conclusion(结论)
本文揭示 CLIP 视觉-文本相似度反转现象([EOS] attention sink 所致),提出训练无关的 LiteLVLM:保留低视觉-文本相似度 token + 恢复上下文 token + 自适应配比。66.7% token 削减下保持 90.3% 性能、显存降 54.7%、加速 22%;视频模态保持 99.5%。为 LVLM 在端侧与资源受限服务器上的实用部署提供了低成本方案。
个人评价
核心价值: 这篇的分析(Section 3)比方法更值钱。它用梯度链式法则 + attention sink 两个机理证据解释了一个反直觉现象(指代区域 token 与文本相似度反而低),直接把"剪枝该保谁"这个经验问题变成了有理论支撑的设计。对理解 VLX-Seek 的"区域 token 如何与文本对齐"是一把钥匙——它从负面证明:CLIP 的 [EOS] 表示对指代区域是"失灵"的。
可借鉴点:
- "反转即机会"的思维:前人(TRIM)把低相似度当噪声剪掉,本文把它当信号保留——同一现象、相反决策、全面碾压。读文献时对"显然的坏事"多问一句"它的反面是不是机会"。
- 即插即用的效率改造范式:不改权重、不加训练,只在推理管线插入一个打分函数,就能在 GLaMM/VideoGlaMM 双架构生效——这种"零成本创新点"非常适合作为工程改进章节。
- 与你已有知识的连接:DenseRC(已读)是从正面"重构 CLIP 密集表征"来解决对齐;本文是从侧面证明 CLIP 原生 [EOS]/[CLS] 对区域级任务是弱对齐的。两篇合起来构成"CLIP 区域对齐问题"的完整图景:原生表示不够用(DenseRC 要重构),且相似度信号会骗人(本文要反转)。
- 对 VLX-Seek(端侧、低延迟)的意义:论文明确呼应端侧部署场景,其"LLM 前剪枝 + FlashAttention 兼容"的管线设计可直接参考。
实验设计亮点: ablation #2 vs #3 用实验直接坐实核心发现(高相似度 52.7 vs 低相似度 66.1);配比实验证明"自适应 > 任何固定比例";视频实验证明方法不依赖单一架构。
疑问解答 (Q&A)
Q1: "低相似度 = 指代区域"这个规律,换主干(SigLIP、DINOv2)还成立吗?
答: 论文只验证了 CLIP ViT-L/14。相似度反转的机理链条是"对比学习只对齐全局 token → [REF] 梯度弱 → 与 [EOS] 相似度低",理论上任何对比学习训练的 VLM 都应有类似现象,但 [EOS] attention sink 的强度(0.68 vs 0.14)是 CLIP 特有的(与 [SOS] 固定位置有关)。换主干必须重新测相似度排名分布,不能默认迁移。这是复现第一站。
Q2: 保留 66.7% token 只掉 9.7%,那剪掉的到底是"冗余"还是"方法恰好保住了关键的"?
答: 两者皆是,但论文证据倾向前者被高估:随机剪枝(#0)在 288 token 时只有 65.0 vs 完整 68.9,说明约一半 token 确实可弃;但保留 64 token 时随机剪会崩(TRIM 类全军覆没),而 LiteLVLM 靠文本引导精确锁定指代区域。结论:静态冗余存在,但定位任务的"关键 token"必须文本引导才能找对。
Q3: 多文本输入时为什么要取候选集交集?并集不是保留更全吗?
答: 论文取交集 S = ∩S_i 的动机是:多个指代表达(如"穿绿色钉鞋的球员"和"蓝色短裤男孩附近的球")共同选中的 token 是各文本一致关注的区域,噪声更小。取并集会引入某些文本独属的 token,稀释预算。但这是个设计选择而非定理——论文没有做"交集 vs 并集"的对比实验,严格说这里是未验证的设计决策。
Q4: 方法叫"training-free",但基座 GLaMM 是微调过的,矛盾吗?
答: 不矛盾。training-free 指剪枝策略本身不需要任何训练/微调(只是推理时的一个打分函数),基座 GLaMM 是按常规 RES 训练得到的(所有对比方法共用同一基座,保证公平)。换个未微调的 LVLM,LiteLVLM 的剪枝逻辑依然适用,但下游定位精度会受基座本身能力限制。
Q5: 2.3× 内存削减(摘要)和 54.7%(结论)哪个对?
答: 都对,口径不同:54.7% 是"激活显存降低的比例"(0.81GB → 0.37GB 量级),2.3× 是摘要的约数表述(1/(1-0.547)≈2.2×)。引用时建议用结论的精确值 54.7%,并注明是 66.7% token 削减设定下。另外 22% 加速是 CUDA time 口径(340.89ms → ~266ms),不含采样全流程。
