Skip to content

Order Matters: Competition-Guided Query Ordering for RNN-Based Object Detection ​

  • 来源: https://arxiv.org/abs/2610.05191
  • 本地PDF: ../raw/2026-10-04-order-matters.pdf
  • 参考链接: 无
  • 日期: 2026-10-04
  • 标签: object-detection detr query-deduplication rnn neurips
  • 研究方向: 目标检测 → DETR 系列 → 解码器内查询竞争与去冗余
  • 作者: Shengjian Wu, Li Sun, Yu Shangguan, Qingli Li (East China Normal University / FinVolution Group)
  • 提交日期: 2026-10-04 (v1), 2026-10-15 (v2), 2026-10-23 (v3)
  • 会议/期刊: NeurIPS 2026(原文页脚 "40th Conference on Neural Information Processing Systems (NeurIPS 2026)";arXiv comments 标注 "Accepted at NeurIPS 2026")
  • 代码: https://github.com/nigelwoo2008-coder/DETRNN
  • 项目主页: 无

摘要 ​

问题: DETR 系检测器用一对一二分匹配实现无 NMS 的端到端集合预测,但没有显式去冗余过程:多个 query 仍会对同一物体给出高度相似的假设,使训练不稳定、预测不果断,密集场景尤甚(摘要、§1)。自注意力虽被认为隐式起 NMS-like 抑制作用,却是并行且 order-agnostic 的,不提供显式竞争顺序。

方案: 提出 DETRNN,一个即插即用模块,把无序 object queries 变成竞争感知序列再做循环精修。分两步:Competition-Guided Query Ordering(CGQO)按置信度与相似度构造显式顺序;Bi-RNN(多用 Mamba 实例化)沿该顺序传递抑制信号。模块替换 decoder 的 self-attention 子层,cross-attention 与 FFN 不变,不丢弃任何 query。

关键创新/贡献:

  • 创新点1: 把 NMS 的"排序 + 贪心分组"线索内部化为 decoder 内可学习的顺序精修,而非不可学习、阈值敏感的后处理;
  • 创新点2: CGQO 用 pivot 自适应阈值 grouping,让强候选在前、最近的竞争者相邻;
  • 创新点3: 用双向 RNN / Mamba 沿顺序传递竞争信号,在几乎不增算力的前提下削减重复预测。

验证: COCO val2017 上 Def-DETR++ 47.6→48.7 AP(12ep,+1.1)、DINO 49.0→50.0、MS-DETR 50.0→50.5、LoRA-DETR 52.5→53.0,FLOPs 基本不变(Table 1);1-decoder 压力测试下 Def-DETR++ 40.6→46.3(+5.7),且 +NMS 的增益从 2.4 降到 0.3(Table 3);CrowdHuman 上 Def-DETR++ 46.5→47.6(Table 6)。


1. 引言 ​

背景 & 动机: 一对一匹配去掉了 NMS 与手工阈值,但 DETR 仍存在冗余假设。多个 query 收敛到相似区域、置信度接近,而每个 GT 只匹配一个预测,其余成为 competing duplicates 并拖慢收敛(Figure 1b、§1)。小的分数波动还会切换被匹配的预测,让监督带噪。经典 NMS 按置信度排序并贪心移除高重叠候选,其顺序本身是组织重复项竞争的强线索(Figure 1a);但硬后处理不可学习、阈值敏感、有时反而有害。因此本文目标是把这条排序线索搬进 decoder,而不是在输出端再做一次 NMS。

既有竞争先验工作(EASE-DETR、Relation-DETR 改 attention 偏置,DDQ 做 decoder-wise NMS 剪枝)仍停留在并行 attention 框架内(§2.1)。

本文贡献:

  1. CGQO:不丢 query 的竞争感知排序;
  2. Bi-RNN / Mamba 顺序精修,替换 self-attention 子层;
  3. 在多类 DETR 变体、拥挤场景与机制分析上验证"order matters"。

2. 相关工作 ​

2.1 端到端检测器 ​

§2.1 回顾 DETR 及其一对一匹配、后续竞争感知解码器,指出它们都依赖并行 attention。§2.2 回顾 Vision RNNs(Mamba、RWKV、xLSTM、TTT 等)作为顺序建模工具的可行性。


3. 方法 ​

3.1 预备知识 ​

RNN 单元的标准形式 h_t = f(W_h h_{t−1} + W_x x_t + b)、o_t = W_o h_t(式 (1))。论文借此说明顺序递归与并行 self-attention 的区别:前者能把信息按次序逐步传递。

3.2 架构总览 ​

DETRNN = CGQO + Bi-RNN,插入位置为 decoder 的 self-attention 子层,cross-attention 与 FFN 保持不变(Figure 2、§3.4)。Def-DETRNN++ 与 DINO-RNN 插在最后两层,MS-DETRNN 与 LoRA-DETRNN 插在最后一层;每个插入阶段前用当前预测重算一次 CGQO(§4.7、Table 9)。

3.3 竞争引导的查询排序 CGQO ​

输入 prior predictions(encoder proposals 或前一层 decoder 输出)。取最高置信度者为 pivot z_ref(含 box b_ref 与 score s_ref),相似度由几何重叠与语义一致性加权(式 (2)):

Sim(zi,zref)=(1−α)IoU(bi,bref)+αcos⁡(si,sref)

上式按原文式 (2) 转写;α 默认 0.3,符号以原文为准。

按置信度降序排序,把与 pivot 相似度高于其专属阈值的 query 作为 close competitors 紧跟 pivot,移除已分组者并重复,直到所有 query 有序(Algorithm 1、§3.3)。pivot 专属阈值 T_i 由局部拥挤度自适应决定(式 (3)),默认 α=0.3、τ_min=0.4、τ_max=0.8、K=18(附录 B)。排序不丢弃任何 query,ordering indices 停止梯度。

3.4 双向 RNN 顺序精修 ​

沿 CGQO 顺序用 [o_i, h_i] = RNN(z_i, h_{i−1})(式 (4))逐步传递,把抑制信号从强候选传给邻近竞争者;双向设计把正序与反序结果合并(§3.4)。多数实验以 Mamba 实例化。Figure 4(a) 显示 Mamba、RWKV、xLSTM、TTT 均稳定在 48.4–48.7 AP,明显高于 attention 基线 47.6 AP。


4. 实验 ​

4.1 设置 ​

检测器覆盖 Def-DETR++、DINO、MS-DETR、LoRA-DETR,另在 EASE-DETR、Relation-DETR、DDQ 上做替换验证;Swin-L backbone 见 Table 2。数据集为 MS-COCO 2017(train2017 117K / val2017 5K)与 CrowdHuman(val 4.4K),附录 K 另有 WiderPerson。1×=12、2×=24 epochs,batch 16;FPS 单卡 RTX 4090,FLOPs 按 1333×800×3 输入计(§4.1、附录 E)。

4.2 主结果 ​

Table 1(COCO val2017,R50,900 queries):Def-DETR++ 47.6→48.7(12ep,+1.1)、49.3→50.1(24ep,+0.8);DINO 49.0→50.0(+1.0)、50.4→51.1(+0.7);MS-DETR 50.0→50.5、50.9→51.4;LoRA-DETR 52.5→53.0,FPS 16→19,基线 FLOPs 300G→301G、Params 47.5M→47.6M。Table 2(Swin-L):Def-DETR++ 54.5→55.6(+1.1),LoRA-DETR 58.2→58.5。

Table 3(1-decoder 压力测试)最能说明去冗余效果:Def-DETR++ 的 AP/+NMS/ΔAP 从 40.6/43.0/2.4 变为 46.3/46.6/0.3,DINO 从 42.2/44.7/2.5 变为 46.8/47.0/0.2,MS-DETR 从 40.1/43.1/3.0 变为 43.8/44.7/0.9。即原本靠 NMS 补回来的增益,已被 decoder 内部吸收。

4.3 去冗余与训练动态 ​

Figure 3 显示早期 epoch AP 更高、NMS@0.8 的 ΔAP 更小、Top1–Top2 score gap 增大 +18.5%/+12.3%/+12.5%(§4.3)。Table 6(CrowdHuman):Def-DETR++ 46.5→47.6、MS-DETR 48.4→49.2;加 NMS 仅带来 0.1–0.3 变化(§4.5)。Table 8 显示在 EASE-DETR、Relation-DETR、DDQ 上替换 self-attention 仍有 +0.3/+0.5/+0.4 AP 且 FPS 略升。

4.4 消融与机制分析 ​

Table 4:单独 Bi-RNN(+0.2)或单独 CGQO 都几乎无增益,组合才达 +1.0(DINO),原因是 self-attention 置换等变、并行,只有"排序 + 递归"配套才形成竞争通路。Table 5:Random 排序 −0.4、Conf-rank +0.1、Group-IoU +0.6、CGQO +0.8 最优,排除了"只是多了容量"的解释。Figure 5:pivot-match rate 从 40.3%@step100 升到 80.9%@2K、83.8%@4K,收敛后 89.24%,Same-GT coverage 78.85%(§4.8)。Table 9 显示后期插入优于全阶段插入(Last 1:21 FPS / 48.4 AP vs All:18 FPS / 48.4 AP)。附录 F 给出开销:N=1500 时 Self-attn 0.4 ms / 143.2 MB,CGQO+Mamba 1.1 ms / 28.7 MB,相对整检测器(约 50 ms、约 700 MB)很小。


5. 结论 ​

总结: DETRNN 把端到端检测的去冗余变成 decoder 内可学习的顺序精修——构造竞争感知顺序并沿其用 RNN 精修,抑制冗余同时保留全部预测、保持端到端(§5)。一句话即标题:order matters。

局限性(附录 P,原文明确):

  1. CGQO 是离散、不可微、手工设计的分组规则,而非可学习排序目标,且依赖前序预测质量;
  2. 为 late-stage refinement 设计,在已很强或本身 competition-aware 的基线上增益更小;
  3. 评测未覆盖 RT-DETR、D-FINE 等近期检测器家族;
  4. 极大或链状竞争组、异常 query 分布等极端情形探索不足。

个人评价 ​

核心价值: 这篇的关键不在"用 Mamba 替换 attention",而在指出 DETR 缺的不是容量、是顺序。一对一匹配只负责分配监督,没告诉模型"谁和谁在抢同一个物体";论文把 NMS 里那条被丢掉的排序线索重新捡回来,放进 decoder。对你做检测器改造,这是一个很省的思路:不动匹配、不动损失、不动 query 数量,只改 query 的组织方式。

可借鉴点:

  • 把后处理内部化:任何"推理时还要靠 NMS / 融合才达标"的方法都可以问一句,这条规则能不能学进网络;Table 3 的 1-decoder 压力测试是验证这件事的漂亮设计;
  • 消融写法:Table 4 用"单独 RNN / 单独排序 / 组合"证明两者必须配套,Table 5 用 Random / Conf-rank / Group-IoU 排除容量解释,比只报最终数字有说服力得多;
  • 与 BiHashFormer 对照看很有意思:一个在骨干里按哈希挑 key,一个在解码器里按竞争排 query,都是"给并行注意力加一个选择次序"。

实验设计亮点: 主结果不只在强配置上报 +0.5,还专门做 1-decoder 压力测试把差距放大到 +5.7;用 +NMS 的 ΔAP 作为"冗余还剩多少"的直接指标;附录 F 把 CGQO+Mamba 的耗时与显存放进整检测器尺度里比较,避免"模块很轻但整体不轻"的错觉。


疑问解答 (Q&A) ​

Q1: 既然不丢弃 query,去冗余是怎么实现的? ​

答: 不是删掉重复预测,而是让竞争信号沿排序传递。CGQO 把强候选放在前、最近的 rival 紧随其后,Bi-RNN 沿这个顺序把抑制信号传给邻近竞争者,使分数拉开。证据是 Figure 3(c) 的 Top1–Top2 score gap 增大 12%–18%,以及 Table 3 里 +NMS 的 ΔAP 从 2.4 降到 0.3:冗余不是被删了,而是模型自己不再给出同样强的重复框。

Q2: 为什么单独加 Bi-RNN 或单独排序都几乎没用? ​

答: 因为 self-attention 是置换等变的,随机顺序下递归只是多了一层容量(Table 4 中 BR 单独仅 +0.2);而只排序不递归,信息仍按并行 attention 聚合,没有沿顺序传递的通路。两者组合才有 +1.0(DINO)。Table 5 的 Random 排序 −0.4 进一步说明"顺序的内容"而非"多了个 RNN"才是关键。

Q3: 这个方法能直接套到实时检测器上吗? ​

答: 附录 P 自己列了限制:未覆盖 RT-DETR、D-FINE 等近期家族,且为 late-stage refinement 设计,在强基线上增益更小。Table 8 在 EASE-DETR、Relation-DETR、DDQ 上仍有 +0.3–0.5 且 FPS 略升,说明即插即用性有初步证据,但实时系检测器需要自行验证。另外 CGQO 含离散排序与 stop-gradient,训练行为与端到端可微模块不同,这是一处实现成本。