BiHashFormer: Hash-Driven Dual-Branch Transformer for Efficient Object Detection in HRW Shots
- 来源: https://arxiv.org/abs/2610.39937
- 本地PDF:
../raw/2026-10-29-bihashformer.pdf - 参考链接: 无
- 日期: 2026-10-29
- 标签:
object-detectionhigh-resolutionhash-attentionsparse-attentionneurips - 研究方向: 目标检测 → 超高分辨率宽幅图像检测 → 哈希稀疏注意力
- 作者: Jingchen Huang, Wenxi Li, Chenyang Lyu, Moran Liu, Haozhe Lin, Yuchen Guo (Tsinghua University / East China Normal University / Alibaba Group)
- 提交日期: 2026-10-29 (v1), 2026-10-30 (v2), 2026-11-02 (v3)
- 会议/期刊: NeurIPS 2026(原文页脚 "40th Conference on Neural Information Processing Systems (NeurIPS 2026)";arXiv comments 标注 "Accepted at NeurIPS 2026")
- 代码: https://github.com/Purecoo00/BiHashFormer(原文补充材料给出;NeurIPS Checklist 同时注明完整代码尚未发布)
- 项目主页: 无
摘要
问题: High-Resolution Wide shots(HRW,十亿像素级宽幅图像)给目标检测带来三个困难:前景极度稀疏、计算量随分辨率暴涨、前景与背景强交错。普通检测数据集前景可覆盖一半以上,HRW 场景前景通常不足 15%(§1);分辨率由 COCO 的百万像素级升到 PANDA 的十亿像素级,推理速度可下降近两个数量级。
方案: 提出 BiHashFormer,基于哈希的双分支稀疏 Transformer。RoI Selector 用方差打分预测前景比例并 top-k 选出含目标窗口;压缩分支把注意力细化为 HashAttention,按 Hamming 距离丢弃一半 key–value 对;补偿分支用 HashMiner 在剩余区域做低成本哈希检索,找回被 RoI 选择漏掉的目标。两分支并行,互不依赖。
关键创新/贡献:
- 创新点1: 用 Hamming 空间中的二值哈希编码实现单向的 key 选择,把注意力稀疏化从"固定比例裁剪"变成随查询内容变化的动态选择;
- 创新点2: 压缩 + 补偿双分支结构,压缩分支只处理高信息窗口,补偿分支以极低代价覆盖其余 85% 区域;
- 创新点3: 用 label-free 的 prototype codes 与专门损失约束哈希码分布,避免额外标注。
验证: 在 gigapixel 基准 PANDA 上,相比 SparseFormer 降低 37.5% backbone FLOPs 且 AP50 从 0.780 提升到 0.810(Table 1);相比 Swin-T 降低 64.4% FLOPs(§4.3、§5)。COCO 上 48.3 AP vs Swin-T 46.0,DOTA mAP +2% 且 FLOPs −49%,VisDrone AP50 +9%(补充实验 §2.2)。
1. 引言
背景 & 动机: 无损成像把检测推进到 HRW 场景,代表应用是十亿像素无人机摄影、卫星观测与全景相机数据。三条困难见摘要:前景稀疏、计算量大、前景背景交错。第三条尤其关键:HRW 需要更大的 Swin 窗口获取上下文,但窗口放大会引入过多背景 token,累积注意力让人体等前景 token 被误导,小目标和被背景包围的目标更容易在 RoI 选择阶段被排除(Figure 1)。
本文贡献:
- 用 RoI Selector 做动态稀疏窗口选择,替代固定比例裁剪;
- 用 HashAttention 在 Hamming 空间对 key 做内容相关的筛选;
- 用 HashMiner 补偿分支恢复非 RoI 区域的漏检目标,并验证选择关系是单向的。
2. 相关工作
原文 §2 简述检测骨干与稀疏注意力两条线,并在 §3 与 SparseFormer、RMT 等固定比例稀疏方法对照。补充实验 §2.1 专门报告推理延迟,§2.2 在 DOTA 与 VisDrone 上做跨数据集验证,§2.3 报告 10 个随机种子的训练稳定性。
3. 方法
3.1 BiHashFormer 整体结构
四阶段 Hash Block,深度为 [2, 2, 6, 2](§3.1)。CPR(compression branch)承担主要计算,CPS(compensation branch)只投影 keys 并复用压缩分支已训练且冻结的 K 投影矩阵。CPR 用 HashAttention,CPS 用常规 self-attention。两分支并行执行,避免分支间依赖造成的推理延迟。
3.2 RoI Selector
用基于方差的 token 打分:先对特征做 AvgPool 并插值得到平滑背景估计,残差经 flatten 后由打分网络给出窗口分数,softmax 归一化得到预测前景比例 ρ̂(§3.2 式 (1)–(7))。真值 ρ 由标注框覆盖面积除以图像面积定义。选择数量 N = ⌈ρ̂ · N_w⌉,原文举例 N_w=110、ρ̂=0.15 时 N=17。训练损失为 (ρ − ρ̂)² + γρ̂,γ=0.1(式 (8))。四个阶段的池化尺寸为 [322, 162, 82, 42]。
3.3 HashAttention(压缩分支)
Q 与 K 经投影矩阵映射到低维 Hamming 空间,取符号得到二值码 b = 1[z > 0](式 (9));用 straight-through estimator 处理不可导(式 (10));相似度用 Hamming 距离 disH(b_q, b_k) = ‖b_q ⊕ b_k‖₁(式 (11))。KV Selector 保留距离最小的 half of the keys,记为 K₀.₅,随后做常规注意力(式 (12)):
上式按原文式 (12) 转写,PDF 解析文本中的下标排版略有噪声,符号以原文为准。投影维度 k=32(§3.3)。
3.4 HashMiner(补偿分支)
在非 RoI 区域用哈希检索找出可能含目标的 key:X_comp = { x | minᵢ disH(b_K(x), cᵢ) ≤ r }(式 (13)),其中 r=4、原型码数量 N_c=3。补偿分支接收 85% 输入区域却只占 17.9% 的分支计算(§4.3)。
3.5 Prototype codes
用 label-free 的原型码与 L_intra(缩小 key 到最近原型的归一化距离)、L_cross(拉开不同原型)两项损失约束二值码分布(式 (14)–(16))。推理时使用 hard binary codes。
4. 实验
4.1 数据集与指标
PANDA:13 个训练场景、5 个测试场景、约 16M 标注框、平均 25,000 × 16,000 像素(§4.1);测试统一裁剪 1280×800,基于 MMDetection 训练 36 epochs。指标为 FLOPs 与 COCO 指标,重点 AP50、APsmall(<96×96)、APmedium、APlarge(§4.2)。补充实验另用 COCO、DOTA、VisDrone。
4.2 主结果与 HashAttention 分析
Table 1(PANDA):DINO+BiHashFormer 为 7.30/40.01/47.31 GFLOPs(F/B/O)、AP50 0.810、APsmall 0.591、APmedium 0.792、APlarge 0.847;DINO+SparseFormer 为 6.90/68.81/75.71、0.780/0.508/0.781/0.823;DINO+Swin-T 为 132.84 GFLOPs、AP50 0.606。传统检测器普遍 >200 GFLOPs。文中结论:相比 SparseFormer 计算降 37.5%、AP50 +3.85%,相比 Swin-T 降 64.4%(§4.3)。
Table 2 验证选择关系的单向性:Q→50% K 得 38.12 GFLOPs / 0.810 AP50,而 K→50% Q 只有 0.785;Q→100% K(经典注意力)80.11 GFLOPs / 0.797。说明查询与 key 的供需不对称,交换选择次序显著掉点(§4.4)。Table 3 显示 k=32 最优(0.810),Table 4 显示 N_c=3 最优。
4.3 补偿分支、消融与稳定性
移除补偿分支使 APsmall 下降近 51.4%(§4.5);用常规注意力替代 HashMiner 也不行。HashMiner 优于 random、MLP、gradient-based 三种候选(§4.5)。Figure 4 显示 ρ=0.147 时 AP50 达 81.0,且在低 ρ 下仍稳定,而 SparseFormer 固定 ρ=0.7。补充 §2.3:10 个随机种子的 AP50 全部落在 [0.809, 0.812]。
5. 结论
总结: RoI Selector 动态选择、HashAttention 单向稀疏化、HashMiner 动态补偿三者结合,在 PANDA 上以更低 FLOPs 取得 81.0% AP50(§5)。
局限性: 原文没有独立的 Limitations 章节。NeurIPS Checklist 中明确写的待查项是 "The reason behind a pattern in section 4.4 need further investigation."(§4.4 中 HashAttention 选择模式背后的原因仍需研究)。此外完整代码尚未发布。
个人评价
核心价值: 这篇把"稀疏化"从固定比例裁剪推进到内容相关的哈希选择,并指出选择是单向的——这一点对任何做 token 剪枝、注意力稀疏的工作都有直接启发。你已读的 CLIP Tricks You 也做 token 选择,但那是按"与 [EOS] 相似度低"这一经验反转信号来挑;本文是按 Hamming 距离在注意力内部挑 key。两者一个在送入 LLM 前剪 token,一个在骨干内部剪 key,可以对照看。
可借鉴点:
- 压缩 + 补偿的双分支思路可以迁移到任何"剪掉之后怕漏检"的场景:主分支省钱,旁路分支只负责找回;
- 单向性验证(Table 2)值得学:发现 Q→K 与 K→Q 不对称后,专门设计对照实验,而不是只报最优配置;
- 用 10 个随机种子报告稳定性,回应 STE 训练可能不稳的质疑,这是低成本但很有说服力的实验。
实验设计亮点: Table 1 同时报 FLOPs 分解与 APsmall/APmedium/APlarge,能看出收益主要来自小目标(APsmall +16.34% for DINO);Table 2 把"选择比例"扫成 20%/50%/80%/100%,直接给出 50% 的合理性。
疑问解答 (Q&A)
Q1: 为什么必须双分支,单分支把稀疏比例调低不行吗?
答: 单分支降低选择比例会直接漏掉非 RoI 区域的小目标,§4.5 显示移除补偿分支后 APsmall 下降近 51.4%。补偿分支的价值是"低成本覆盖 85% 区域":它只投影 keys 并复用冻结的 K 投影,因此只占 17.9% 分支计算。Figure 4 也显示双分支在低 ρ 下仍稳定,单分支做不到。
Q2: "选择关系是 one-way" 具体指什么?
答: 指 HashAttention 中由 query 去挑 key(Q→K)有效,反过来由 key 去挑 query(K→Q)会掉点。Table 2:Q→50% K 得 0.810 AP50,K→50% Q 只有 0.785。原文解释是查询与 key 的供需不对称(§4.4、§4.4 的 Figure 3)。这也是论文自认尚未查清机理的地方。
Q3: 与 VLX-Seek 的端侧部署场景有什么关系?
答: 本文面向的是十亿像素输入,和端侧小图不是同一尺度;但"按内容动态决定算哪些区域"这一原则通用。可借鉴的是 RoI Selector 用轻量打分预测前景比例,从而让稀疏比例随图像变化,而不是写死一个固定值。
