LiG-DETR: Local-in-Global Reassembly in Latent Space for Aerial Object Detection
- 来源: https://arxiv.org/abs/2610.09511
- 本地PDF:
../raw/2026-10-07-lig-detr.pdf - 参考链接: 无
- 日期: 2026-10-07
- 标签:
object-detectionaerialsmall-objectdetrdomain-generalization - 研究方向: 目标检测 → 航拍小目标检测 → 局部高保真特征重组
- 作者: Yupeng Zhang, Fangzhuo Gao, Juntao Cheng, Ziyi Zhao, Liang Wan, Ruize Han (Tianjin University / Shenzhen University of Advanced Technology / Shanghai Jiaotong University / Shanghai AI Laboratory)
- 提交日期: 2026-10-07 (v1)
- 会议/期刊: ICLR 2027(原文页眉 "Published as a conference paper at ICLR 2027")
- 代码: 未公开,原文写明 "The code will be released."
- 项目主页: 无
摘要
问题: 航拍图像视场大、尺度与密度变化剧烈,小目标纹理与边界线索弱,容易被背景杂波和特征压缩抑制。既有两条路线都有硬伤:image slicing(SAHI、ASAHI)能看清局部,但依赖独立 crop 级预测与框融合 / NMS-like 后处理,带来重复计算、重复预测与碎片化推理;feature-/query-level refinement(FPN、QueryDet、DQ-DETR、Dome-DETR 等)保留端到端统一推理,却作用在已编码的全图表征上,细节在下采样后"may be unable to fully recover it"(§1、§2)。
方案: 提出 Efficient Global-Local Reassembly,把 image slicing 从"独立预测单元"改造成"高保真局部特征获取单元":共享编码器提取全局特征与局部放大特征,投影到检测器特征空间后按原始空间位置重组为全局对齐的局部特征层,由单个 DETR decoder 联合解码全局与局部特征。另加 Context-Preserved Selective Reassembly(CPSR)与 Density-Aware Adaptive Query Allocation(DA-AQA)控制计算。
关键创新/贡献:
- 创新点1: 把切片重构为 latent space 里的特征重组,消除 crop-level 检测头、框融合与 NMS;
- 创新点2: CPSR 用图像空间 Laplacian 高频分数选信息区域,未选区用全局 G0 填充而非零填充,保持 dense 且全局对齐;
- 创新点3: DA-AQA 用编码器 proposal 分数动态决定 decoder query 预算,无需额外密度预测器或辅助监督。
验证: VisDrone-DET2019 上 B=4 达 37.1 AP,较 RF-DETR-L 基线 +7.7,APs 18.6→27.6(Table 2);AI-TOD-v2 上 31.8 AP,较基线 +6.9(Table 3);自建 DGDet-VisDrone 五个 unseen 域平均 29.1 AP,较基线 +5.0(Table 4)。
1. 引言
背景 & 动机: 论文用 Figure 1 做诊断:RF-DETR 的 Global G1 上小目标响应稀疏且粗糙,Global G0 分辨率更高但仍源自全图编码,未必能恢复细粒度物体信息。由此提出核心问题原文表述为 "can aerial detection directly acquire high-fidelity local evidence before feature degradation and integrate it into a unified end-to-end framework?"(§1)。
本文贡献:
- 局部高保真特征获取 + 全局对齐重组的端到端框架;
- CPSR 与 DA-AQA 两个计算控制模块;
- 在三个航拍基准与跨域设定上验证,并给出精度–效率权衡曲线。
2. 相关工作
§2 分两条线:Image-level Slicing for Aerial Small Objects(SAHI、ASAHI 等)与 Multi-scale Feature and Query Modeling for Aerial Detection(FPN、QueryDet、Deformable DETR、TPH-YOLOv5、DQ-DETR、Dome-DETR 等)。对前者的批评集中在后处理与重复预测,对后者的批评集中在"细节已被压缩后才做增强"。
3. 方法
3.1 整体思路
共享编码器 ϕ 产生 {G₀, G₁},G₁ 为 stride 16(H/16×W/16),G₀ 为 stride 8(H/8×W/8),G₀ 每轴分辨率 2×、token 数约 4×(§3.2)。局部侧把图像切成 2×2 非重叠 crops,各自编码后经 Π_l 投影,再按空间位置重组 L_full。特征集 {G₀, G₁, L} 交由单个 DETR decoder 联合解码。原文指出全图两维加倍会让 token 数约 4×、二次自注意力成本约 16×,这正是需要选择性重组的原因。
3.2 Global-Local Reassembly
Π_g 与 Π_l 分别为全局与局部的 Global-Local Reassembly Projector(§3.1、§3.2)。局部 slices 不再是预测单元,因此不需要 crop-level 检测头、框融合或 NMS;GT 与匈牙利匹配始终在原图坐标下进行(§3.5)。
3.3 Context-Preserved Selective Reassembly (CPSR)
把图像划成 N×N patches(默认 N=4),用图像空间 Laplacian 高频分数 a_j 衡量每个 patch 的信息量(§3.3 式 (1)):
上式按原文式 (1) 转写,其中 g 为三通道平均图,m(u)∈{0,1} 屏蔽 padding,符号以原文为准。
按 TopK 选出 K_p 个 patch 打包成 G×G local observations(默认 G=2),B = ⌈K_p/G²⌉ 对应 B={1,2,3,4} ↔ K_p={4,8,12,16}(§3.4)。未选中区域用 G₀ 填充而不是零填充,保持 dense、globally aligned 的特征布局(式 (2))。区域重要性在图像空间估计,而非在已压缩的编码特征图上估计,这是 CPSR 的关键设计。
3.4 Density-Aware Adaptive Query Allocation (DA-AQA)
从编码器 proposal logits 取每位置最大类别分数并 sigmoid 得 s_i,用累积占比 C(k) 与阈值 ρ 求最小 k,再取整到 r 的倍数得到 query 预算 K_q(§3.4)。top-K_q proposal boxes 初始化 reference points,content queries 仍为可学习 embedding;批内 padding 到最大 K_q,validity mask 排除匈牙利匹配与分类损失,box/GIoU loss 只对 valid matches 计算。全程无需额外密度预测器或辅助监督。
3.5 训练目标与实现细节
沿用 RF-DETR 目标(classification、L1 box、GIoU),不新增 loss(§3.5)。底座为 RF-DETR-L 加可训练 DINOv2 encoder;8×NVIDIA RTX 3090、72 epochs、AdamW lr 1×10⁻⁴、wd 1×10⁻⁴、batch 1/GPU ×16 累积 = 128。
4. 实验结果
4.1 设置
数据集:VisDrone-DET2019(10,209 图、10 类、报 val)、AI-TOD-v2(28,036 图、752,745 实例、8 类、平均 12.7 像素、86% 小于 16 像素、报 test)、DGDet-VisDrone(本文构建,6 域,Cloudy 为源域按 2:1 切分,其余 5 域为 unseen target;Table 1 共 8,629 图)。指标为 COCO-style AP(IoU 0.50–0.95,步长 0.05),并报 APs/APm/APl、Params、GFLOPs、FPS(单 RTX 3090,batch 1)。分辨率:多数非 RF 基线 640×640,RF-DETR 与 LiG-DETR 用 704×704。
4.2 主结果
Table 2(VisDrone val):RF-DETR-L 为 29.4 AP / 18.6 APs / 43.4 APm / 65.1 APl / 33.9M Params / 125.6 GFLOPs / 51.6 FPS;LiG-DETR B=1 为 34.6/25.3/46.4/61.5、284.0 GFLOPs、30.4 FPS;B=4 为 37.1/27.6/49.9/62.9、38.7M、642.4 GFLOPs、18.0 FPS。B=1 已比基线 +5.2,B=4 达 +7.7 且最高 AP;B=4 比 Dome-DETR-L 快(18.0 vs 14.8 FPS)且 AP 高 6.7(§4.2)。
Table 3(AI-TOD-v2 test):LiG-DETR 31.8 AP / 30.8 APs / 49.8 APm,RF-DETR-L 24.9/23.6/45.4,Dome-DETR-L 31.4/37.6/45.4。LiG 总 AP 与 APm 最高,Dome 的 APs 更高(§4.2)。
Table 4(跨域 DGDet-VisDrone):全域平均 29.1 AP / 16.5 APs / 39.2 APm / 57.1 APl,较 RF-DETR-L +5.0 AP,五个 unseen 域一致提升;相比 Dome-DETR-L 平均 AP 29.1 vs 26.5、APm 39.2 vs 30.5,但 Dome 的 APs 18.9 高于 16.5。
4.3 消融
Table 5:{G₁} 单独 29.4,加 L 成 {G₁,L} 达 32.9 但 APl 下降;{G₀,G₁} 为 30.4,加 G₂ 无增益;{G₀,G₁,L} 不做 fusion 即 35.5,优于各种 fusion 方案;再加 DA-AQA 到 37.1;spatial packing 37.0 与 score-based packing 37.1 几乎相同,默认用后者。Table 6 显示局部高分辨率获取比"整图 2× 上采样"更划算:RF-DETR-L (2× Input) 达 37.4 AP 但要 851.8 GFLOPs / 11.8 FPS,LiG-DETR B=4 为 37.1 AP / 642.4 GFLOPs / 18.0 FPS。Table 7 显示 16 patches 最优(37.1 AP),64 patches 因上下文碎片化与重组开销降到 36.2。
5. 结论
总结: 把 slicing 重构为高分辨率局部特征获取、重组进全局坐标并由单解码器端到端解码;CPSR 自适应聚焦信息区域,DA-AQA 动态调整 query 预算;小/中目标显著提升,大目标性能保持,精度–效率权衡与跨域泛化均改善(§5)。
局限性(附录 B,原文明确):
- 局部高分辨率编码引入额外计算,B 增大持续提升精度,但 B=4 仍 "noticeably more computationally expensive than the RF-DETR-L baseline";
- CPSR 的 lightweight Laplacian-based high-frequency score 属 low-level image cues,"not always perfectly aligned with semantic object importance"。
代码与处理后的数据 split 尚未发布。
个人评价
核心价值: 这篇对"切片"做了很漂亮的重新定义——切片不再是要单独出框的子图,而是获取高保真局部特征的手段。这直接解决了 SAHI 类方法"重复预测 + 后处理"的老问题,也解释了为什么单解码器能吃下局部特征。对你的遥感/无人机检测方向,这是一条比"堆多尺度模块"更根本的思路。
可借鉴点:
- 未选区域用 G₀ 填充而非零填充:这是"保持 dense、globally aligned"的关键,任何做选择性计算的工作都要回答"没算的区域怎么表示";
- 在图像空间而非压缩特征图上估计区域重要性(§3.3),与 CLIP Tricks You 发现"压缩后的相似度信号会骗人"是同一类警惕;
- DA-AQA 不引入额外监督:从已有 proposal 分数直接推 query 预算,比外挂密度预测器干净,适合套到别的 DETR 变体;
- 与同日的 RT-DETR-World 出自同一组作者,两篇共享"训练/离线侧多做事、推理侧保持统一轻量"的工程哲学,可以对照读。
实验设计亮点: Table 2 把 B=1/2/3/4 的 AP 与 FPS 一起列出,直接画出精度–效率曲线而不是只报最优;Table 6 拿"整图 2× 上采样"当对照,把"局部高分辨率获取"的收益从"多算就变好"里分离出来;Table 4 用自建 6 域数据集专测 unseen 域泛化。
疑问解答 (Q&A)
Q1: 为什么 APl 在只加 L 时反而下降(65.1→59.0)?
答: Table 5 显示 {G₁,L} 相对 {G₁} 的 AP 从 29.4 升到 32.9,但 APl 从 65.1 降到 59.0;补回 G₀ 形成 {G₀,G₁,L} 后 APl 回到 62.9。原文的解释框架是局部特征偏向小目标、大目标仍需全局上下文,因此三层联合解码才兼顾。论文没有做更细的失败分解,这算一个开放性缺口。
Q2: CPSR 用 Laplacian 高频分数选 patch,会不会漏掉低频但重要的大目标?
答: 会,这正是附录 B 自己承认的第二条局限:"not always perfectly aligned with semantic object importance"。作者的缓解手段是未选区域用 G₀ 填充,大目标仍可从全局分支被检出,所以 Table 2 里 APl 最终没有大幅退化。但用语义重要性替代 low-level 高频分数,是这篇留下的明显改进空间。
Q3: B 越大越好,为什么默认停在 B=4?
答: 因为算力代价。B 从 1 到 4,AP 34.6→37.1,但 FPS 30.4→18.0、GFLOPs 284.0→642.4(Table 2)。附录 B 明确写 B=4 已明显比基线贵。所以 B 是精度–效率的调节旋钮,不是"越大全越好"的模型规模参数。
