RT-DETR-World: Transferring Rich LLM Semantics to Real-Time Open-Vocabulary Detection
- 来源: https://arxiv.org/abs/2610.09502
- 本地PDF:
../raw/2026-10-07-rt-detr-world.pdf - 参考链接: 无
- 日期: 2026-10-07
- 标签:
open-vocabularydetectionknowledge-distillationreal-timedetr - 研究方向: 目标检测 → 开放词汇检测 → 训练期语义监督与轻量推理
- 作者: Yupeng Zhang, Ziyi Zhao, Juntao Cheng, Sheng Wang, Ningnan Guo, Ruize Han, Liang Wan (Tianjin University / Shenzhen University of Advanced Technology / Shanghai Jiaotong University / Shanghai AI Laboratory)
- 提交日期: 2026-10-07 (v1), 2026-11-05 (v2)
- 会议/期刊: ICLR 2027 在投(原文页眉 "Under review as a conference paper at ICLR 2027")
- 代码: 未公开,原文写明 "The code will be released."
- 项目主页: 无
摘要
问题: 开放词汇检测(OVD)靠文本类别查询识别训练未见类别,但"强零样本泛化"与"实时效率"难以兼得。重型视觉-语言模型(GLIP、Grounding DINO、LLMDet)能利用描述中的属性、动作、关系语义,却因多层跨模态交互无法实时部署;实时 OVD(YOLO-World、YOLOE、OV-DEIM)只做轻量 query–text matching,聚焦词汇覆盖与匹配效率,紧凑检测器容量有限,难以吸收实例语义与场景上下文(§1)。
方案: RT-DETR-World 在训练期把描述中的丰富语义迁入紧凑 DETR 检测器,推理期只保留轻量 query–text matching。构造 GroundingCapv2 提供类别名、物体描述、图像描述三级监督;提出 Dual-Path Description Alignment(DDA)与 Relation-Aware Negative Relaxation(RNR)。所有 LLM teacher 特征离线预计算,teacher 侧模块训练后移除,不增加推理开销。
关键创新/贡献:
- 创新点1: 三级描述监督的数据构造(GroundingCapv2),把细粒度实例语义与场景上下文变成可复用监督信号;
- 创新点2: DDA 双路径对齐——部署一致的 MiniLM 路径 + 训练专用 LLM teacher 路径;
- 创新点3: RNR 按 teacher 导出的语义相似度松弛相关负样本,避免标准对比学习把语义相近的描述一律当强负例。
验证: LVIS minival 上 S/S+/B 分别为 31.4/32.6/36.6 AP,Fixed AP 35.2/36.6/40.0,FPS 90/71/41(Table 2);ODinW13/ODinW35 上 B 达 43.8/20.2(Table 3);COCO-O 上 B 达 46.2 AP、ER +24.9(Table 4)。消融显示 LLM teacher 监督在 GroundingCap-1M 上带来 +5.0 AP(Table 5),RNR 较硬对比学习 +1.6 AP、APr +4.4(Table 6)。
1. 引言
背景 & 动机: 机器人、自动驾驶、边缘视觉同时要求零样本泛化与实时推理(§1)。论文指出泛化不只靠扩大训练词汇,还可受益于已见数据中可复用的视觉–语义因子(属性、部件、数量、动作、状态、关系),呼应组合零样本学习(CZSL)的组合性原则。现有两条路各有短板:重型 VLM 用上了描述语义但太慢;实时 OVD 够快但只用类别名,浪费了描述信息。核心问题因此是:如何把丰富语义迁入紧凑检测器而不损推理效率。
本文贡献:
- RT-DETR-World 框架与 GroundingCapv2 三级监督数据;
- DDA 双路径对齐,teacher 只在训练期以预计算特征形式存在;
- RNR 松弛相关负样本,提升稀有类别表现。
2. GroundingCapv2
2.1 三级数据表述
样本形式化为 S_b = (I_b, B_b, T_cat_b, T_obj_b, T_img_b):类别名用于标准 OVD,物体描述承载实例属性、部件、数量、动作、姿态与状态,图像描述承载物体关系、场景上下文与全局语义(§2.1)。数据来自 COCO、V3Det、GQA、Flickr30K Entities、LLaVA-Cap 五个来源(Table 1)。规模为 1,115,690 样本、8,050,813 区域;类别名与物体描述覆盖率分别为 95.8% 与 98.5%,1,115,656 个样本带图像描述(Table 1、§2.2)。
2.2 Confidence-routed 数据整理
用 Qwen3-VL-8B 作 proposer 与 verifier,对不确定的样本路由到 Qwen3-VL-32B adjudicator 复核(Figure 2、§2.2)。COCO 与 V3Det 的描述接受率为 85.5% 与 87.6%。这套流程只用于离线造数据,不进入训练与推理。
3. RT-DETR-World
3.1 整体架构
视觉编码器为冻结的 DINOv3(ViT-S/16、ViT-S+/16、ViT-B/16 对应 -S/-S+/-B),后接两层 multi-scale projector(256 维)与三层 DETR decoder(§3.4)。训练用 13 组、每组 300 个 object queries,推理只保留一组 300 queries。文本编码器为 MiniLMv2-L6-H768(最多 256 tokens),teacher 为 LLM2CLIP 中经 caption-contrastive tuning 的 LLM 文本编码器(LLM2CLIP-Llama-3.1-8B),输出 1,152 维描述嵌入(§3.1、§3.2)。Language-Guided Query Selection 见 Figure 3。
3.2 双路径描述对齐 DDA
- 部署一致的 MiniLM 路径:类别名提供 query–category 监督;物体描述与 Hungarian-matched queries 对齐,注入细粒度实例语义。该路径推理时仍在,因此与部署形态一致。
- 训练专用的 LLM teacher 路径:物体描述特征监督 matched queries,图像描述特征监督全局视觉表征。所有 teacher 特征预计算,LLM 在训练与推理时都不加载,辅助对齐模块训练后移除(§3.2)。
3.3 关系感知负样本松弛 RNR
标准对比学习把所有未匹配对视为同等强度负样本,但不同描述可能共享属性、动作、状态或上下文(§3.3)。RNR 用 teacher 导出的语义相似度 r_nm 降低相关负样本的排斥权重,正样本权重保持 1;α=0 时退化为标准双向对比学习。RNR 同时作用于 MiniLM 的物体描述对齐、teacher 的物体级与图像级对齐三处(式 (5))。
3.4 训练目标与实现细节
总损失为检测损失加三个对齐损失,权重 (λ_M, λ_o, λ_g) = (0.25, 0.1, 0.1),温度 τ=0.07,α=0.25(§3.4、附录 B)。三个对齐损失前 2,000 iterations 线性 warmup。训练 150k iterations、4×NVIDIA RTX 4090、batch 48;训练短边随机 [480, 800]、长边上限 1,333,评估短边 800。
原文式 (1)–(6) 在 PDF 解析文本中上下标被拆行且有转写噪声,本文未逐字抄录公式,仅记录其结构与超参,符号以原文为准。
4. 实验结果
4.1 设置
训练用 GroundingCapv2。评测 LVIS v1.0 minival(1,203 类,rare/common/frequent = 337/461/405)、ODinW13/ODinW35、COCO-O(六类风格域),COCO 作 in-distribution reference;排除与目标 split 重叠图像防泄漏(§4.1)。指标为标准 AP、Fixed AP(保留 top 1,000 预测)、APr/APc/APf、FPS(T4 GPU、TensorRT、类别嵌入预缓存)。
4.2 迁移与鲁棒性
Table 2(LVIS minival):S 31.4/35.2 AP/Fixed AP @90 FPS,S+ 32.6/36.6 @71 FPS,B 36.6/40.0 @41 FPS;对照 OV-DEIM-L 33.7/35.9 @91 FPS、YOLOEv8-L 33.3/35.9 @17 FPS。文中指出 S+ 比此前最佳 35.9 高 0.7,B 高 4.1;但 B 仍比 MM-Grounding-DINO-T 与 LLMDet-T 低 1.4/4.7 Fixed AP,且 S+/B 相对 OV-DEIM-L 是以延迟换精度(§4.2)。
Table 3(ODinW):S/S+/B 的 ODinW13/ODinW35 为 40.1/18.7、41.5/18.8、43.8/20.2;OV-DEIM-L 为 41.6/19.2。Table 4(COCO-O 鲁棒性):B 的 COCO AP / COCO-O AP / ER 为 47.2/46.2/+24.9,OV-DEIM-L 为 45.9/43.3/+22.7。COCO-O 因 GroundingCapv2 含 COCO 训练图像,只作分布偏移评测而非未见类别评测(§4.1)。
4.3 消融
Table 5:在 GroundingCap-1M 上加物体级与图像级 LLM teacher 监督,AP 从 27.9 升到 32.9(+5.0),且不改可部署检测器结构;在 GroundingCapv2 上,仅类别监督为 33.1,加入 MiniLM 物体描述后为 35.2,APr 从 25.7 升到 32.0。Table 6:RNR 35.2/32.0(AP/APr)优于硬对比 33.6/27.6、SoftCLIP-style 33.8/25.1、SRCL-style 33.9/26.2、caption generation 28.5/18.3。Table 7(附录 B)显示 α 从 0 到 0.25 使 AP 33.6→35.2、APr 27.6→32.0,α=0.5 反而退化。
5. 结论
总结: 紧凑 OVD 检测器可以在训练期吸收描述的丰富语义、推理期保持轻量 query–text matching;GroundingCapv2、DDA、RNR 三者共同带来大词汇检测、跨域迁移与分布偏移鲁棒性,同时保持实时(§5)。
局限性: 原文未设 Limitations 章节。明确写出的差距有三处:B 比 MM-Grounding-DINO-T、LLMDet-T 低 1.4/4.7 Fixed AP;S+ 与 B 以延迟换精度;定性分析承认密集场景中仍有低置信与重叠预测,大词汇下的细粒度类别判别与置信度校准仍困难(附录 C)。代码与处理后的数据标注尚未发布。
个人评价
核心价值: 这篇和你已读的 VL-DINO、WeDetect 是同一条 OVD 主线上的三个位置:VL-DINO 把 CLIP 知识当外部教师做蒸馏,WeDetect 把检测改写成检索,本文则把"描述级语义"当训练期教师、部署时全部拆掉。对"给紧凑检测器加语义而不加推理成本"这个问题,本文给了一个很干净的答案。
可借鉴点:
- 训练期教师 + 推理期拆解的范式与你刚读的 SpatioLM 高度同构:那边是 Dual DPT Head 与几何伪标签,这边是 LLM teacher 与描述嵌入;两边都靠"零额外推理开销"立论,可对照看它们如何处理教师误差。
- RNR 的问题意识值得记:负样本不是等价的,语义相近的描述不该被当成强负例。任何用对比损失做细粒度语义的任务都可以问一遍这句话。
- 三级监督数据构造(类别 / 物体描述 / 图像描述)把"数据工程"写成了方法贡献,并用 Table 5 逐级量化净增益,写法可直接借鉴。
实验设计亮点: Table 2 同时报 AP、Fixed AP、FPS 与参数量分解,让"实时"这个宣称可被核查;Table 4 用 ER = AP_COCO-O − 0.45·AP_COCO 剥离 in-domain 精度后比较鲁棒性;Table 6 把 RNR 与四种负样本策略横向对比,而不是只报自己最好。
疑问解答 (Q&A)
Q1: teacher 特征预计算后,训练时 LLM 真的完全不参与吗?
答: 是的,§3.2 明确写了所有 teacher 特征离线预计算,LLM 在训练与推理时都不加载,辅助对齐模块训练后移除。因此"不增加推理开销"是结构性的,不是靠工程优化。但要注意:这要求训练数据的每条描述都能提前编码,数据构造成本被移到了离线阶段。
Q2: 为什么 B 版本仍比 MM-Grounding-DINO-T、LLMDet-T 低?
答: 原文只把差距归因于 "our streamlined inference architecture",没有做进一步分解(§4.2)。可以确认的是这两个对照模型使用了重型视觉-语言架构与多层跨模态交互,而本文推理时只有轻量 query–text matching。这个差距正是本文为实时性付出的代价,不是遗漏实验。
Q3: RNR 与常见 soft-label 对比学习有什么区别?
答: RNR 的权重来自 teacher 描述嵌入之间的语义相似度,且只降低相关负样本的排斥、精确正样本权重保持 1(§3.3);Table 6 显示它比 SoftCLIP-style 与 SRCL-style 分别高 1.4/1.3 AP,APr 差距更大。α=0 时退化为标准双向对比,Table 7 给出了 α 的敏感性。
