WeDetect: Fast Open-Vocabulary Object Detection as Retrieval
- 来源: https://arxiv.org/abs/2512.12309
- 本地PDF:
../raw/2025-12-16-wedetect.pdf - 参考链接: https://github.com/WeChatCV/WeDetect
- 日期: 2025-12-16
- 标签:
open-vocabulary,detection,retrieval,dual-tower,rec - 研究方向: 计算机视觉 → 开放词汇感知 → 开放词汇目标检测 / 指代理解
- 作者: Shenghao Fu†, Yukun Su†, Fengyun Rao*, Jing LYU, Xiaohua Xie*, Wei-Shi Zheng* (WeChat Vision, Tencent Inc. / Pazhou Laboratory (Huangpu) / Shenzhen Loop Area Institute)
- 提交日期: 2025-12-13 (v1)
- 会议/期刊: CVPR 2026
- 代码: https://github.com/WeChatCV/WeDetect
- 项目主页: 无
摘要
问题: 开放词汇目标检测(OVD)里,融合型方法(Grounding-DINO、GLIP、DetCLIP 等)靠深度跨模态融合层拿精度,但融合层计算量大、推理慢,而且视觉特征是 query 特定的,不同文本 prompt 之间无法共享特征——Grounding-DINO 在 1203 类 LVIS 上 chunk=40 要 31 次前向、数秒级延迟。
方案: 全程贯彻「检索」哲学:不做跨模态融合,把识别当作在共享嵌入空间里"区域特征 × 文本 query"的匹配问题(retrieval)。提出模型家族 WeDetect:
- WeDetect:无融合层的双塔实时检测器,靠精心构造的数据和充分训练,non-fusion 精度反超融合型模型,成为强检测底座;
- WeDetect-Uni:冻结整个检测器、只训一个 objectness prompt 的通用 proposal 生成器,bbox 走原有 anchor-free 回归分支,分类只判"是不是物体"(类别无关)。因检测器冻结,每个框的 box embedding 仍与类别空间对齐——支撑新任务 object retrieval:①入库阶段,每图只跑一次 Uni,取 top-300 框连同 embedding 存进历史库,之后永不再过检测器;②查询阶段,新类名"烟头"编码成一个文本向量,与库内全部 embedding 做点积排序,召回命中的图。相比 CLIP 每图单全局向量(小物体语义被整图平均稀释),每图一组局部 embedding 保得住小物体(Table 4 F1 83.6 vs CLIP 46.4);
- WeDetect-Ref:基于 LMM(Qwen3-VL)的 REC 模型。定位交给 Uni 的 100 个候选框,LLM 只当打分器:每个框抽 RoI 特征压成 1 个 object token(bbox 作位置 embedding),拼成 assistant: ⟨object⟩×100 的 prompt,LLM 一次前向并行输出各 token 的 hidden embedding,二分类头逐一打分(如 query="穿7号球衣的球员"→7号球员 0.96、其余 0.1),不生成任何坐标 token、无 next-token prediction——既保住 LLM 的复杂指代理解,又规避其坐标回归不准与串行解码慢两大死穴,图里无目标时全低分可直接拒绝。
关键创新/贡献:
- 创新点1: 用 ConvNeXt 版 CLIP 变体做底座预训练 + 15M 图/330M 框的数据引擎(Qwen2.5-VL 7B 自动打多粒度层级标签),证明"好数据 + 充分训练"能让无融合层的双塔超过融合模型;
- 创新点2: WeDetect-Uni 的"冻结检测器 + 单 objectness prompt"设计,使 top-scoring proposal 的 embedding 天然类别相关,免费获得 object retrieval 能力;
- 创新点3: 把 REC 改造成检索:LLM 只当分类器,对 proposal 列表一次前向并行打分,摆脱 LLM 回归坐标不敏感 + next-token 串行解码两大顽疾。
验证: 15 个 benchmark SOTA。LVIS minival:Tiny 37.4 AP @62.5fps(超 YOLO-World-L 2.0 AP 且更快)、Base 47.3、Large 55.0(Table 1);object retrieval 上 Large-Uni F1 83.6,比 CLIP 高 37.2(Table 4);REC:Ref 4B 在 RefCOCO/+/g 平均 93.2,超 Qwen3-VL 4B 6.5 分且快 13 倍,还是首个 COCO 检测超 50 AP 的 LMM(50.0,Table 5)。
Section 1 / Introduction(引言)
背景 & 动机: 识别是 CV 的中心问题,图像级从闭集分类走到大规规模图文对比学习支撑的开放词汇图像检索;区域级的 OVD 则希望用文本 prompt 检测任意类别。现有 OVD 提升视觉-语言对齐的主流手段是深度跨模态融合层,精度高但计算昂贵,且视觉特征 query 特定、无法跨 prompt 共享复用。
本文贡献:
- 提出 retrieval 范式的模型家族 WeDetect:WeDetect(检测底座,实时 + SOTA 零样本精度)、WeDetect-Uni(通用 proposal 生成器 + object retrieval 新应用)、WeDetect-Ref(LMM 做 REC,一次前向并行分类);
- 三项使 non-fusion 达到 SOTA 的关键技术:ConvNeXt 版 CLIP 变体底座预训练、无融合层双塔结构、15M 图/330M 框的多粒度标签数据引擎;
- 在 15 个 benchmark 上同时拿到 SOTA 精度和高吞吐,WeDetect-Ref 4B 在 RefCOCO/+/g 上 93.2 平均分、13 倍速于 Qwen3-VL 4B。
Section 2 / Related Work(相关工作)
Section 2.1 / Open-Vocabulary Object Detection
已有工作沿四条路对齐视觉-语言:
- 训练数据构建:GLIP 区域-词对比预训练、hard negative 构造、规模化;
- 训练目标:除区域-词对比外统一 MLM、dense captioning、与 LLM 协同训练(LLMDet);
- 视觉-语言融合层:精度↑但效率↓且特征不共享;
- 模型蒸馏:从基础模型蒸馏开放词汇知识。
本文回归"无融合层的朴素结构 + 检索式方法论"。
Section 2.2 / Large Vision-Language Model
LVLM 开放词汇感知强,但给 LVLM 加区域感知的现有做法(GPT4RoI、Osprey、VideoRefer 等)把物体编码成特殊 token 后仍走 next-token prediction:数字被拆成离散 token 用交叉熵优化,对精确框回归不敏感,且物体逐个串行解码、推理慢。本文让 LLM 只当分类器,对物体并行处理。
Section 3 / WeDetect 检测底座
Section 3.1 / 模型架构
核心思想:双塔(dual-tower)无融合。语言编码器初始化自 XLM-RoBERTa;视觉侧是 YOLO-like 结构:ConvNeXt backbone(天然多尺度)+ CSPRepBiFPAN neck + YOLO-World 对比头。两塔都弃用原版 CLIP 组件:
- 视觉塔:因 ViT 的 plain 设计不适合检测、缺多尺度金字塔(论文明确说明),ConvNeXt 层级式特征正好喂 neck,ConvNeXt 本来就是冲着替代 Swin 做密集预测任务设计的;
- 文本塔:论文未说明理由。三层动机:①原生 CLIP text encoder 很弱(63M、77 token 上限),XLM-R(base 270M/large 560M)表征更强,纯英文模型也该换;②多语能力使一套权重双语两用——代码实锤:COCO/LVIS 英文 benchmark 的 eval config 用的全是中文类名文件(
config/wedetect_base.py→coco_zh_class_texts.json),论文榜单数字是中文 prompt 跑出来的,中文支持是"顺手就有"而非牺牲英文;③落地需要(作者为腾讯微信视觉,WeDetect-Anything 词表数千中文类目)。
另外注意:预训练数据(CLIP-stage 图文对,来源含 SAM-1B/LAION/CC12M/Zero(中文数据集 CCMB)/自爬)不开源,中英比例论文未披露;两塔均非从零训练——文本塔明说 initialized from XLM-RoBERTa,自研的是对齐预训练(CLIP-like 图文对比)而非塔本身。
损失与标签分配策略与 YOLO-World 相同(区域-文本对比损失 + 框回归损失),唯一区别是 neck 内不用任何融合层,分类就是图像网格特征与类别文本 embedding 的点积。
Section 3.2 / 数据引擎
核心思想:数据引擎分两步——
- 源图采样:SAM-1B、LAION、CC12M、Zero + 自爬授权图,用原始 caption 中的稀有名词平衡概念,共 15M 图;
- 框标注流水线:先用所有可用检测数据集训一个 objectness 检测器召回全部物体(配 SAM mask),再用 SFT 过的 Qwen2.5-VL 7B 生成实例特定的层级标签(如 "animal, dog, a yellow dog")。标注器被微调出两个关键能力:结构化输出(先粗后细的固定模板)和拒绝识别(对错误框不生成标签,兼做 proposal 质量校验)。为增强 Qwen2.5-VL 局部感知,用 SAM mask 高亮物体边界 + 文本框坐标作为输入。
最终自标数据 15M 图 / 330M 框,另混入 OpenImagesV6、Objects365 V2、V3Det、ImageNetBox、GoldG(合计约 5M,Table 8)。
Section 3.3 / 分阶段训练
- 分阶段训练(staged-wise):(1) 先在大规模图文数据上做 CLIP 式图像级对比预训练,用其初始化视觉/语言编码器;(2) 冻结双塔,只训随机初始化的 neck 和 head;(3) 全参数端到端训练。避免随机初始化的 head 扰动 CLIP 预训练特征。
- 多粒度标签采样(multi-granularity label sampling):每个物体带层级标签列表,训练时每次迭代独立采样其中一个(实验中取最细与次细两级)做数据增强——既给单物体富监督,又给全 batch 构造多样的负类词表。
- 实现细节(附录):共约 20M 样本;head/neck 初始化 20 epochs lr 5e-4,端到端 30 epochs lr 1e-5,总 batch size 320;每个类名单独编码为单个 embedding。
Section 4 / WeDetect-Uni 通用候选框生成器
核心思想:冻结整个检测器,只训练一个可学习 objectness prompt 做分类(近似 linear probing)。基于 WeDetect 判别性强的特征,单个 prompt 就能拿到高召回。关键点:不同于类别无关的 proposal 网络(如 RPN),top-scoring proposal 的 box embedding 仍是类别相关的——因为检测器没动,这些 embedding 可以直接用于分类,成为 object retrieval 的基础。
object retrieval 新任务:从数据库中检索"含用户指定物体类别"的所有图像。与 CLIP 图文检索(全局语义)互补,聚焦局部语义(如"烟头"这类小物体)。评估协议:在检测数据集上,类名即 query,验证集即数据库,含该类标注的图为 ground truth 图像集,指标 P/R/F1 按类内计算再平均(LVIS 因联邦标注不全只算 recall)。
应用方式:每张图用一组 object embedding 表示(而非 CLIP 的单 embedding):WeDetect-Uni 提取全部感兴趣区域,top-scoring proposal 的 box embedding 预提取并缓存代表这张图;新 query 到来时只需一次点积即可完成检索。
Uni 召回率(Table 3):仅训一个 objectness prompt、冻结检测器,召回率在 COCO/LVIS/PACO 三档粒度上全面超过专用 proposal 网络(UPN、RPN、OLN 等)——Large-Uni 在三档召回 89.7/69.3/70.9,验证底座特征判别力。
Section 5 / WeDetect-Ref 大模型当分类器
Section 5.1 / Formulating REC as Retrieval
核心思想:LLM 两大痛点——语言建模目标(数字离散 token + 交叉熵)导致对精确框回归不敏感;next-token prediction 串行生成导致延迟高。受 VideoITG 启发,把 REC 改造成检索:先用 WeDetect-Uni 抽候选列表
两个优势:避免语言建模带来的框回归缺陷,同时抛弃 next-token prediction,一次前向完成全部物体判断(前人 Octopus/ChatRex 虽有 retrieval 雏形但仍是 next-token 机制)。
Section 5.2 / A Three-Stage Training Recipe
底座 Qwen3-VL,引入特殊 token ⟨object⟩ 作为每个物体的占位符;bbox 编码为位置 embedding 加到物体 token 上。三阶段(Table 9/10):
- Stage 1 区域投影器训练:只训新加的 linear region projector(RoIAlign 多尺度特征 → 单 token),685K 图像级+区域级 caption 数据(LLaVA Pretrain、refcoco/+/g 等),语言建模损失,batch 256,lr 1e-3;
- Stage 2 区域感知微调:训 LLM + projector(视觉编码器仍冻结),685K caption 之外加入指令数据共约 1.7M,让 LLM 准确感知指定物体;
- Stage 3 区域分类微调:丢弃语言建模头,换成二分类头(只作用于物体 token hidden embedding),损失为 IoU 作软标签的 sigmoid focal loss(IoU>0.5 的 proposal 为正样本),4M 检测+REC 数据,batch 128,lr 1e-5。
数据模板(Stage 3):user: ⟨image⟩ Please detect the "CLASSNAME" in the image. / assistant: ⟨object⟩⟨object⟩…,⟨object⟩ 个数等于 proposal 数。负样本构造:每图取 WeDetect 在负类中 top-3 置信度的类名做 hard negative(附录)。
Section 6 / Experiments(实验)
6.1 主结果
检测(Table 1,zero-shot):三个尺寸全面 SOTA——
- Tiny(ConvNeXt-T, 33M, 640×640):LVIS minival 37.4 AP @62.5 fps,超 YOLO-World-L 2.0 AP 且更快(54.6 fps);LVIS val 31.4 vs 26.8(+4.6);
- Base(ConvNeXt-B, 176M, 640×640):minival 47.3 @35.1 fps,以数倍于 Grounding-DINO-Swin-T 的速度拿更高精度;
- Large(ConvNeXt-L, 490M, 1280×1280):minival 55.0,LVIS val 49.4,超此前 SOTA T-Rex2 / OV-DINO / LLMDet。
object retrieval(Table 4):大幅超过 OpenAI CLIP、HQ-CLIP、FG-CLIP2 等强图文检索模型——Large-Uni F1 83.6,比 CLIP 高 37.2;每图一组局部 embedding(对比 CLIP 单全局向量)在小物体检索上优势巨大,与图文检索形成互补。
REC(Table 2):Ref 4B 在 RefCOCO/+/g 平均 93.2(95.6/96.7/93.6/90.5/94.8/86.8/93.8/93.9),超过基线 Qwen3-VL 4B 6.5 分和更大的 InternVL3.5-241B(带 thinking);HumanRef 拒绝率 81.8 全场最高;速度快 13 倍(5.3 fps vs Qwen3-VL 4B 0.4),甚至超过专门优化推理的 Grounding-DINO-L(3.1 fps)——并行单前向 + 纯 self-attention(FlashAttention 友好)的架构红利。
LMM 检测(Table 5):COCO 50.0 AP,首个突破 50 AP、追平传统检测器的 LMM;ODinW13 47.3。反衬基线 Qwen2.5-VL 7B 只有 17.7 AP——next-token 机制多实例漏检且不会拒答,检索式每物体独立解码,两病同治。
6.2 消融实验
WeDetect(Table 6,LVIS minival):
| 配置 | AP | APr | APc | APf |
|---|---|---|---|---|
| WeDetect-Base(完整) | 47.3 | 43.5 | 45.9 | 49.3 |
| w/o coarse-grained labels | 46.4 (-0.9) | 41.9 (-1.6) | 44.7 | 48.6 |
| w/o fine-grained labels | 45.1 (-2.2) | 41.1 | 43.2 | 47.8 |
| w/o staged-wise training | 45.5 (-1.8) | 41.2 | 43.7 | 47.9 |
多粒度标签与分阶段训练都有效,细粒度标签贡献最大(-2.2 AP)。
WeDetect-Ref(Table 7):
- (1) BCE 换 sigmoid focal loss:COCO 43.1 vs 47.5(-4.4 AP);
- (2) 去负检测数据:COCO 42.1(-5.4 AP,APs -7.0)——hard negative 至关重要;
- (3) 每物体从 1 token 加到 25 token:仅 +0.1 AP 但上下文 ×25——全图上下文已含足够物体细节,单 token 足够;
- (4) LLM 因果注意力下 proposal 乱序不打乱性能(93.1 vs 93.0)——模型对顺序鲁棒。
Section 7 / Conclusion and Limitation(结论与局限)
总结:检索式设计(从候选列表里挑目标,而非为每个 query 现生成候选)省掉昂贵的跨模态融合层,换来实时速度;WeDetect 家族统一了检测、proposal 生成、object retrieval 和 REC,15 个 benchmark SOTA。
局限性:WeDetect-Ref 是二分类模型,一次前向只支持一个 query;多类检测需逐 query 推理再合并(COCO 每图跑 80 次)。好在 13 倍速优势下少 query 时仍比 Qwen3-VL 快。
补充实验:语言式检测 D3 数据集上 Ref 2B/4B 达 41.8/42.0 Full AP,比次优 ROD-MLLM-7B 高 10+ AP(Table 11)。
代码仓库补充(论文未涵盖)
仓库里有一个论文之外的新模块 WeDetect-Anything(2026-06 放出):基于 WeDetect-Uni 的"万物检测"流水线——候选阶段纯视觉(256 个可学习 prompt 当通用 objectness),导出 ONNX 只吃一张图,输出候选框 + objectness + box embedding;再把 embedding 与预编码好的数千个中文类目词表(prompt_free.npy,XLM-R 编码,768 维 L2 归一化)做点积 + sigmoid + argmax 出类别。等于把 WeDetect 的文本塔从"在线编码"换成"离线词表查表",实现免 prompt 开放词汇检测,附 Gradio demo。
代码对照论文的几点确认:
- 架构与论文一致:ConvNeXt + CSPRepBiFPANNeck + YOLOWorldHead,检测器类型就叫
YOLOWorldDetector(从 YOLO-World mmyolo 实现改造,保留 anchor-free 点回归、TAL assigner、DFL); - WeDetect 是中文模型:类名用中文(如
--text '鞋,床'),文本塔为 XLM-R,仓库自带 xlm-roberta-base/large 权重目录;WeDetect-Ref 支持中英 query(Qwen3-VL 底座多语言); - Uni 的
num_prompts=256,且作者 config 注明「mistakenly used 256 prompts, but actually only the first one is used」——只有第 0 路 prompt 是真正的 objectness,其余是历史遗留。
微调指南(dist_train.sh <config> <gpu数> 即 torchrun,8 卡、每卡 24G 足够、12 epochs):
- 开放词汇微调——场景:类别会持续扩展、未来要检出没训过的新类(开放世界巡检、词表不固定的业务)。保留文本塔,训过的类精度提升且零样本能力不丢。数据用 COCO 格式 + 中文类名文件(格式照抄
data/texts/coco_zh_class_texts.json,形如[["人"], ["安全帽"]]),改 config 里的data_root/ann_file/class_text_path/num_classes后跑wedetect_base_coco_full_tuning_8xbs4_2e-5.py(另有 mask refine 变体); - 闭集微调——场景:类别固定不变且追求极限精度/速度(产线缺陷检测、固定目标监测),永远不需要认新类。丢弃文本塔,推理省掉 XLM-R。先
generate_class_embedding.py把类名编码成 npy 初始化分类头,再跑wedetect_base_coco_vision_encoder_8xbs4_2e-5.py; - Uni 微调——场景:目标不是"识别是什么"而是"把所有物体框出来",即给 object retrieval 建历史库、给 WeDetect-Ref 供候选、万物检测流水线。数据不挑类别:任意 COCO 格式检测集,把所有
category_id合并为 0(类信息整个丢弃),用目标域数据微调以适配外观/尺度分布;但标注必须全(未标注区域会被当负样本"教坏" objectness),类别标注稀疏时先用检测器+SAM 伪标签补全。跑wedetect_uni_base_finetune.py;默认只训 prompt,解冻 head/neck 可提召回但会导致 embedding 与文本空间漂移——下游是 retrieval / Ref 时不要解冻。
个人评价
核心价值: 这篇论文把"检索式识别"从一个工程选择上升为一套统一方法论,并且用数据规模证明了 non-fusion 双塔不再是精度妥协——这动摇了"开放词汇必须上融合层"的默认共识。对下游系统设计者,WeDetect 家族提供了清晰的分工:底座检测(WeDetect)、离线候选缓存(Uni + object embedding 检索)、复杂指代(Ref),三件套正好覆盖"快筛 → 回溯 → 精读"的完整链路。
可借鉴点:
- object retrieval 的表示方式:一张图用一组类别相关的 box embedding 表示(而非单全局向量),天然支持小物体/局部语义检索——可直接迁移到无人机影像回溯、遥感瓦片检索等"库里找小目标"场景(呼应 SkyAnchor 的小目标痛点);
- "冻结底座 + 只训一个 prompt"的扩展模式:底座特征足够判别时,linear probing 级的新增头就能解锁新任务,训练成本近乎为零;
- LLM 当分类器:丢弃 next-token prediction、对预抽候选一次前向并行打分,是 LLM 做密集预测类任务的通用提速范式——VLX-Seek 正是把它用在开放词汇检测上(其 WeDetect-Base-Uni 也只是 proposal 生成器);LocateAnything 的并行 box 解码同属这一路线;
- 多粒度层级标签:一个物体同时挂"粗类 + 细类 + 实例描述"三个粒度,训练时采样,是低成本提升文本多样性的数据工程技巧,类似思路见 LAE 的 dynamic vocabulary;
- 与已读 VL-DINO(2026-06-10)正好互为镜像:VL-DINO 往 DINO 里加 CLIP 知识做融合外挂,WeDetect 证明"不加融合 + 好数据"也能 SOTA——两篇合读能看清"融合层到底值不值"这个 2026 年的核心争论。
实验设计亮点: object retrieval 任务把"检索"定义成分类问题(图集对图集的 P/R/F1),让 CLIP 系模型也能参赛,对比非常公平且直观;消融里"25 tokens per object 只 +0.1 AP"和"proposal 乱序不影响"两条实验干净利落地支撑了单 token 表示的设计决策。
疑问解答 (Q&A)
Q1: 说 WeDetect 是 YOLO-World 架构准确吗?
答: 血缘上准确——代码从 YOLO-World 的 mmyolo 实现改造(SimpleYOLOWorldDetector 自述 "Implementation of YOLO World Series"),检测范式(anchor-free 点回归、TAL、DFL)一致。但组件大改:backbone 从 CSPDarknet/RepVGG 换成 ConvNeXt,neck 换自研 CSPRepBiFPANNeck,文本塔从 CLIP 换成 XLM-R。论文自己的表述是"a YOLO-like architecture ... and a YOLO-World contrastive head",更准确的说法是"ConvNeXt 版 CLIP 双塔 + YOLO-World 检测头"。
Q2: Uni 只有一个 objectness prompt,为什么 embedding 还是类别相关的?
答: 因为整个检测器(含对比头)冻结了。objectness prompt 只决定"哪些 proposal 得分高",而 top-scoring proposal 过 head 后的 box embedding 仍是照常与全类别特征空间对齐的——冻结保证了这些 embedding 不漂移,所以能缓存下来做类无关的检索和分类。这也是为什么论文强调"不同于其他 class-agnostic proposal 网络"。代码里实际训了 256 个 prompt(num_prompts=256),但作者注明只有第 0 路在起作用。
Q3: Ref 一次前向并行分类,为什么 COCO 检测还比 Qwen2.5-VL 好 30+ AP?
答: 三个机制叠加:(1) 候选来自强检测器 Uni(COCO 高召回 @300),召回有保障;(2) 每物体独立二分类,多实例不会互相挤压输出;(3) 训练时用"图里不存在的类名"做 hard negative(WeDetect top-3 置信度选负类),教会模型拒绝。这正是 next-token LLM 的两大死穴(多实例漏检 + 不会拒答)被检索范式结构性解决。
Q4: 论文与代码不一致 / 未开源的地方?
答: (1) 训练数据(15M 自标集)、数据引擎的标注器权重未开源,开源的是推理 + 微调代码;(2) WeDetect-Anything 是论文发表后 2026-06 才放出的仓库模块,论文正文与附录均未提及;(3) 论文称"finetuned from a pretrained CLIP model",但该 ConvNeXt 版 CLIP 底座的预训练数据(含中文数据集 CCMB)与配比未披露、未开源,底座也未单独开源;另一个有意思的细节:检测评测(COCO/LVIS)config 用的全是中文类名文件,即检测榜单数字是中文 prompt 跑出来的(英文类名文件在仓库里存在但无 config 引用;论文未做中英 prompt 对比消融);而 object retrieval 评测硬编码英文类名、Rec 为多语自由 query——各榜单 prompt 语言并不统一,但都 SOTA,说明对齐空间对 prompt 语言不敏感;(4) 检测器 config 里 num_training_classes=256 与"单 objectness prompt"的论文表述有出入(见 Q2),应以"256 个 prompt 中实际只有第 0 路生效"理解。
Q5: 局限里"COCO 每图跑 80 次"是不是很致命?
答: 要看怎么用。单 query 场景(REC、用户临时查一类)完全无感;80 类标准检测确实要跑 80 次,但 Uni 候选提取可以只跑一次(候选与 query 无关),80 次开销只在 LLM 二分类头前向——且论文口径下它仍比 Qwen3-VL 快。真正的瓶颈场景是"高频多类实时检测"(如视频流逐帧跑 80 类),这时传统检测器(WeDetect 本体、YOLO 系)仍是更优解。选型逻辑:复杂指代/单类查询用 Ref,多类实时检测用 WeDetect 本体。
Q6: 和 CLIP Tricks You(LiteLVLM)、DenseRC 的"检索"是一回事吗?
答: 不是同一个层次。WeDetect 的"检索"是系统级范式(识别 = 嵌入空间点积匹配,省掉融合层);LiteLVLM 的"token 剪枝"是推理优化(保留哪些 token);DenseRC 的"重构"是表征改造(让 CLIP 密集特征可用)。三者共享同一个底层信念——"嵌入空间匹配"足够好用,分歧在改造哪一层。WeDetect 的贡献是把这个信念推到了极致:连 LLM 都被降格成"分类器"来服务检索范式。
