Skip to content

SpatioLM: Towards General Physical Spatial Intelligence in Vision-Language Models ​

  • 来源: https://arxiv.org/abs/2608.01899
  • 本地PDF: ../raw/2026-08-03-spatiolm.pdf
  • 参考链接: https://github.com/spatio-lm(摘要给出的代码地址,写作时为 spatio-lm)
  • 日期: 2026-08-03
  • 标签: spatial-intelligence, vlm, plug-and-play, depth, embodied
  • 研究方向: 多模态大模型 → 空间智能 → 视觉 token 几何特征激发
  • 作者: Jing Wu, Jianhua Wu, Jiayi Guan, Jiahong Chen, Jinghui Lu, Hangjun Ye, Bingzhao Gao, Long Chen (Xiaomi EV / 同济大学 / Independent Researcher)
  • 提交日期: 2026-08-03 (v1)
  • 会议/期刊: ICML 2026(PMLR 306)
  • 代码: spatio-lm(见摘要)
  • 项目主页: 无

摘要 ​

问题: VLM 语义强但空间推理弱(3D 度量推理与空间理解差)。现有增强方案分两条路都有硬伤:① 显式几何增强(喂深度图/点云/相机参数,或用深度估计模型)——依赖专用硬件或脆弱预处理,开放世界 RGB-only 场景不可扩展;② 架构级修改(外挂空间编码器)——需要侵入式 3D 数据微调,破坏预训练表征分布,灾难性遗忘严重(Spatial-MLLM 在通用基准上掉 23%-67%)。

方案: 提出参数高效的 SpatioLM,范式为 "Frozen Backbone + Plug-and-play Spatio-Vision Module":冻结 VLM 全部参数,插入一个 ControlNet 式 side-tuning 的 SV-Module(6 个 Spatio-Vision Block,每个 50M 参数),从 ViT 中间层(24 层中的第 16 层) 视觉 token 中激发几何感知特征,经零初始化投影注入 LM Block;训练时用伪深度 + 相机 ray map 作密集几何监督,并把 SV 特征向 Depth Anything V3 的潜在特征做 Gram-matrix 蒸馏;推理时 SV-Module 仅在 prefill 阶段前向一次,KV cache 复用,零额外推理开销,且可随时插拔。

关键创新/贡献:

  • 创新点1: 纯 2D 框架激发 VLM 内在 3D 几何结构,不依赖传感器/估计的几何输入,也不外挂空间编码器;
  • 创新点2: 即插即用 SV-Module + 零初始化投影,冻结主干防灾难性遗忘,通用能力几乎不掉;
  • 创新点3: 伪深度/ray map 密集监督 + 3D 基础模型特征蒸馏的双重几何监督设计。

验证: VSI-Bench 71.6(首个破 70 的模型,此前最强 Cambrian-S-7B 67.5);深度基准 MD-S 83.5 / MD-M 69.0 / DA-2K 83.8 / DR 41.8 全面第一;ScanQA/SQA3D 超基线;迁移到 LIBERO 具身操作:离散动作 79.2→91.0,连续动作 95.3→96.3(仅 2B 参数、无大规模机器人预训练即与 SOTA VLA 竞争)。


Section 1 / Introduction(引言) ​

背景 & 动机: VLM(CLIP、GPT-4o、Qwen-VL 等)在视觉问答与多模态推理上表现强,但受多模态大模型架构与"图像-文本"预训练范式限制,语义表征丰富、空间推理不足——在需要 3D 度量推理的任务上表现差,而具身操作、自动驾驶等真实场景恰恰依赖空间推理。

现有增强路线(Figure 2):

  • (a) 显式几何增强:注入深度图、点云、相机参数(传感器或辅助估计模型)——依赖硬件/脆弱管线,开放世界不可扩展;
  • (b) 架构级修改:外挂空间编码器(SpatialLLM、VLM-3R 等)——需侵入式 3D 微调,破坏预训练分布、泛化退化;
  • 第三条路是工具调用/智能体(把 VLM 当规划器调外部 API)——多步延迟、级联误差,视觉主干的空间能力没有真正提升。

核心挑战:不借助外部 3D 输入或第三方空间编码器,激发 VLM 内在空间知识,同时保持通用能力。

本文贡献:

  1. 纯 2D 视觉-语言框架,从预训练 VLM 视觉 token 激发隐含 3D 几何结构;
  2. 即插即用 SV-Module,非侵入式增强,防灾难性遗忘;
  3. 在空间感知、空间理解与下游具身操作上全面超越主流模型,且保持泛化。

三个范式:

  • 显式几何先验:相机内参归一化 + 深度监督做度量感知(DepthLM、SpatialBot),或传感器/估计式 3D 输入(OmniEVA、3DRS、RoboRefer、MM-Spatial、GS-Reasoner、SSR);
  • 架构修改:外挂空间编码器(SpatialLLM、VLM-3R、VG-LLM、Spatial-MLLM);
  • 工具/智能体:LLM 执行代码或调用深度估计器/3D 检测器 API,或用 RL + verifier。

Section 3 / Method(SpatioLM) ​

Section 3.1 / 问题定义与记号 ​

输入 X = (X_v, X_t)(视觉序列 T×H×W×3,T=1 为图像、T>1 为视频;文本指令),输出文本 Y^t = (y₁,…,y_L)。训练时额外预测密集几何输出 Y^g = (D̂, R̂)(深度与相机 ray map 的伪标签),模型建模为自回归条件分布:

P(Yt,Yg∣Xv,Xt)=P(Yg∣Xv,Xt)∏i=1LP(yi∣y<i,Yg,Xv,Xt)

Section 3.2 / Spatio-Vision Module(核心) ​

视觉条件:视觉编码器与 LLM 全程冻结。视觉 token 记为 H₀^v = E_v(X_v)。关键依据:近期研究发现 ViT 中间层比最终层含更丰富几何信息,故选 24 层 ViT 的第 16 层 token 作为 SV-Block 输入(记为 H₀^v,区别于送进 LLM 的最终层 token)。

几何特征激发与注入:第 i 个 SV-Block 处理第 j 个 LM Block 的隐特征,产出几何感知 token H_i^g:

Hig=Msv(Hjv,−1)+Pz(Hig,−1),Hig∈R|Iv|×C

其中 M_sv 为 SV-Block 计算,P_z 为零初始化投影(j-1=0 时 H_j^{v,-1}=H₀^v)。融合进冻结 LM(不破坏预训练分布的关键):

H^jm[Iv]=Hjm[Iv]+Pz(Hig)

SV-Block 与 LM Block 严格一对一映射,索引关系 j = k + i·s(k 为起始 LM Block,s 为间隔)。

Spatio-Vision Block:受 VGGT 启发的 Alternating-Attention 机制,交替执行:

  • Frame Attention:帧内独立注意力,保留细粒度几何细节;
  • Global Attention:跨帧联合注意力,聚合多视角/时序几何一致性。

该交替注意力只在 SV-Block 内部,不改冻结 LLM 的因果自注意力。默认 K=6 个 SV-Block,每个 50M 参数。

Dual DPT Head:几何特征 H^g 送入双分支 DPT(源自 Depth Anything V3):一支预测密集深度图 D̂(度量或相对深度),一支预测相机 ray map R̂(由相机内外参编码的逐像素视线方向)。密集几何预测强制注入的特征编码相机感知的 3D 先验。

Section 3.3 / 损失设计 ​

总目标 = 语言损失 + 混合几何损失(权重 λ_LL、λ_d、λ_g 分别为 0.6、0.2、0.2):

语言建模损失(Eq 7):

LLL=−∑i=1Llog⁡P(yi∣y<i,Xv,Xt)

蒸馏损失(Eq 8,Vision Token Supervision):把 SV 特征向预训练 3D 基础模型 Depth Anything V3 的潜在特征对齐,用 Gram-matrix 匹配 token 结构相似性:

Ld=∥HsHs⊤−HtHt⊤∥F

密集几何损失(Eq 9,DGS):

Lg=Lde(D^,D~)+λrayLray(R^,R~)

总损失(Eq 10):

L=λLLLLL+λdLd+λgLg

训练时只更新 SV-Module 与投影层,VLM 主干冻结。

Section 3.4 / 统一任务形式 ​

  • 空间感知:以度量深度估计为核心,仿 DepthLM 把"测距"变成 QA——图上叠视觉标记,prompt 问标记点距离;
  • 空间理解:VQA 形式,覆盖物体计数、相对大小、空间关系、路径规划等;
  • 统一用 prompt 设计指定任务 + next-token prediction。

Section 4 / Experiments(实验) ​

4.1 实验设置 ​

  • 训练数据:20K 视频 + 643K QA 对,来源含 ScanNet、ScanNet++、MVS-Synth、ARKitScenes、Waymo、Virtual KITTI、Hypersim、VSI-590K、ScanQA、SQA3D、DA-2K;严格用官方训练 split,防泄漏;
  • 两个配置:SpatioLM_SenseNovaSI-8B(InternVL3 架构,初始化自 SenseNovaSI-8B)与 SpatioLM_InternVL3.5-8B(初始化自 InternVL3.5-8B);
  • 硬件与优化:64 × H200,AdamW(β=(0.9,0.95),wd=0.1),cosine LR + 0.1 warmup;空间感知训 600 epoch、空间理解训 2 epoch;
  • 推理:Dual DPT Head 可拆除;SV-Module 仅在 prefill 前向一次,之后标准 VLM 解码 + KV cache,无额外开销。

4.2 空间推理 ​

空间感知(Table 1)——SpatioLM_SenseNovaSI-8B 四项全优:

基准MD-SMD-MDA-2KDR
GPT-5.228.628.775.59.87
Gemini-2.5-flash37.637.979.417.5
Qwen3-VL-plus52.641.180.713.6
Qwen2.5-VL-72B41.028.360.310.2
InternVL3.5-8B(基座)48.439.973.417.2
DepthLM (Pixtral-12B)52.637.771.817.5
SpatioLM_SenseNovaSI-8B83.569.083.841.8

较基座(SenseNovaSI-8B)全面大幅提升;DA-2K 83.8 超过此前 13 个模型的最好水平(Figure 1 teaser:78.2)。

空间理解(Table 2-3):

  • VSI-Bench Avg = 71.6,首个超过 70(次优 Cambrian-S-7B 67.5、基座 SenseNovaSI-8B 68.7);分项:Obj.Cht 81.9、Abs.Dist 55.7、Obj.Size 75.2、Room.Size 71.5、Rel.Dist 78.2、Rel.Dir 74.4、Route Plan 47.9、Appr.Order 87.8;
  • ScanQA:CIDEr 101.8(SpatioLM_SenseNovaSI-8B),全面超基线;
  • SQA3D:E1/ER1 56.5/58.6,超基座 SenseNovaSI-8B(47.8/50.1)与 Spatial-MLLM-4B(55.9/58.7)。

4.3 通用能力保持(Figure 6) ​

在 VideoMME、VideoMMMU、MVBench、MMMU 上评估,与 Spatial-MLLM(外挂编码器代表)对比:

  • SpatioLM 降幅极小:VideoMMMU 上 +12%(不降反升),其余基准降幅在 1%-8%;
  • Spatial-MLLM 降幅 23%-67%——外挂编码器路线灾难性遗忘严重。
  • 证明"冻结主干 + side-tuning"是保持通用性的关键。

4.4 下游具身操作(Table 4,LIBERO) ​

把 SpatioLM-2B(基于 SenseNovaSI-2B)改造成 VLA:SpatioLM-VLA0(离散动作,VLA-0 范式)与 SpatioLM-OFT(连续动作,OpenVLA-OFT 范式)。一个策略跑全部 4 个 suite,每任务 50 episode × 10 任务 = 500 次试验取平均。

方法动作SpatialObjectGoalLongAvg
SenseNovaSI-VLA0(基线)D93.884.079.459.479.2
SpatioLM-VLA0D95.697.292.878.691.0
SenseNovaSI-OFT(基线)C92.298.696.493.895.3
SpatioLM-OFTC93.499.097.894.896.3
  • 离散设定 +11.8(79.2→91.0),连续设定 +1.0(95.3→96.3);
  • SpatioLM-OFT 以 2B 参数、无大规模机器人预训练,超过 π0(94.2)、DepthVLA(94.9)、UniVLA(95.2)等 SOTA VLA——参数效率与空间泛化极强。

4.5 消融(Table 5) ​

配置MD-SDA-2KVSI-Bench
无模块(基座)52.671.868.7
+SV-Module74.784.069.1
部分组合(仅加一种监督)76.982.469.6
部分组合(仅加另一种监督)81.583.370.8
SV-Module + VTS + DGS(完整)83.583.871.6
  • SV-Module 单独贡献 +22.1 MD-S、+12.2 DA-2K——几何激发主体有效;
  • VTS(token 级语义一致性)与 DGS(细粒度几何约束)互补,组合最优。

Section 5 / Conclusion(结论) ​

SpatioLM 用"冻结主干 + 即插即用 SV-Module"从预训练 VLM 视觉 token 中激发几何感知特征:零初始化投影注入 LM、伪深度/ray map 密集监督 + Depth Anything V3 特征蒸馏、中间层 token 选取、帧内/跨帧交替注意力。空间感知与理解全面 SOTA(VSI-Bench 71.6 首破 70),通用能力几乎无损,并成功迁移到具身操作。推理期 SV-Module 仅 prefill 一次前向、可插拔,兼顾效率与灵活性。


个人评价 ​

核心价值: 这篇把"给 VLM 加空间智能"从堆编码器/喂 3D 数据的暴力路线,拉回到"激发主干内在几何知识"的巧劲路线。"冻结 + 零初始化投影 + 中间层 token"三件套是对 ControlNet 范式在空间任务上的精准复用,且用 Figure 6(通用能力对比)把"非侵入"这个卖点变成了硬证据。对 VLX-Seek 第 8 节"具身智能需要稳定空间锚点"的疑问,这篇给了一个可直接落地的答案。

可借鉴点:

  • 中间层 token 更有几何信息这个依据(16/24 层)直接来自 CLIP Tricks You 一脉相承的"CLIP 中间层特性"研究(Bolya et al.)——三篇文献(DenseRC / LiteLVLM / SpatioLM)共享同一底层认知:CLIP/ViT 的最终层输出不是万能中间表示。写 related work 时可以把这条暗线提出来。
  • 零初始化投影注入(Eq 6)是"往冻结模型里加能力"的标准手法,训练初期等价于原模型、逐步学出增量——你的任何"给现有模型加模块"实验都可以套这个初始化技巧,避免破坏预训练分布。
  • 伪标签 + 基础模型蒸馏双监督:用 Depth Anything V3 的潜在特征做 Gram-matrix 蒸馏(不逐像素对齐,匹配结构相似性),比直接回归深度更柔——蒸馏目标设计的思路值得学。
  • 评测即插即用性:Dual DPT Head 可拆、SV-Module 可关,推理只在 prefill 前向一次——这种"模块可退役"的设计让方法对部署友好,也是论文说服力的重要组成。

实验设计亮点: ① 基座对比(SpatioLM vs SenseNovaSI-8B/InternVL3.5-8B)直接量化 SV-Module 净贡献;② 通用能力对比专门挑了 Spatial-MLLM 当靶子(-23%~-67% vs 自己的 -1%~-8%),一图封神;③ LIBERO 上刻意与无大规模机器人预训练的 SOTA 对比,突出参数效率。


疑问解答 (Q&A) ​

Q1: 为什么选第 16 层?为什么恰好是 16/24? ​

答: 论文明确说这是"guided by empirical analysis (Bolya et al., 2026)"——即引用他人关于 ViT 中间层几何表征强度的经验结论,自己没有系统扫层。消融里也没有"层数敏感性"实验(对比 12/16/20 层)。严格说这是外部经验移植,换主干(如 32 层 ViT 或非 ViT 编码器)需重新验证。复现第一站应是扫层实验。

补充(2026-11-11): 直观机制是 24 层 ViT 越往深越"语义化"——最终层输出服务图文对齐的高层概念,细粒度几何(相对大小、透视、接触关系)在这一步被抽象掉;第 16 层约 2/3 深度,处在"几何尚未被语义覆盖"的位置。所以 SV-Module 取的是这份"工作笔记"而非最终报告。

还需区分两个不同维度的消融:层数(16/24)论文自己没扫,纯属移植;SV-Block 数量(K=6/8/12)有消融,且显示 6 个已饱和、加到 8/12 无额外收益。不要把"K 饱和"误读成"16 层经过实验验证"。

Q2: 伪深度/ray map 从哪来?会不会把深度估计器的误差灌进来? ​

答: 伪标签来自外部几何源(论文未在正文详述生成管线,细节在附录)。深度/相机估计器确实有误差,但论文的设计缓解了直接传播:SV 特征不是回归伪标签本身,而是① 经 DPT 头做密集预测(学几何结构)、② 向 DA V3 潜在特征做 Gram-matrix 蒸馏(学结构相似性而非绝对值)。所以伪标签噪声被"结构化"吸收。但这也意味着上限受伪标签质量约束——原文未讨论伪标签误差分析,这是个开放性缺口。

补充(2026-11-11): R̂ 不是"第二张深度图",而是由相机内外参编码的逐像素视线方向(原文 3.2),作用是把"相机怎么摆放"也编码进特征,使表征 camera-aware。

两者都只在训练期存在:Dual DPT Head 在推理时可整支拆除(原文 Evaluation Setting 明写 "the Dual DPT Head can be removed"),伪标签误差影响的是"被注入特征的质量",不进入部署路径。与显式几何先验范式的分野正在于此——那条线把深度当输入,本文把深度当教师。

Q3: 零初始化投影会不会导致训练早期 SV-Module 学不到东西(梯度被零投影挡住)? ​

答: 零初始化只影响注入路径(P_z(H_i^g)),SV-Block 自身的特征计算 M_sv 与蒸馏/几何监督直接作用于 H^g,梯度不经过 P_z 也能回传。所以 SV-Block 先靠蒸馏损失学出有几何意义的特征,P_z 再逐步学会"注入多少"。这是 ControlNet 式零卷积的标准行为:先学内容、再学融合。

补充(2026-11-11): Eq 6 用的是加法注入:Ĥ = H + P_z(H^g),因此对 H 的梯度恒为 1,反向传播不会被 P_z 的零权重截断;同时 P_z 输出从 0 平滑增长,训练第一步模型严格等价于原版 VLM,注入量从无到有渐变。这是"不破坏预训练分布"在实现层面的确切含义,不只是"冻结主干"这一个条件。

Q4: VSI-Bench 71.6 与基座 68.7 只差 2.9,提升很大吗? ​

答: 要看结构:基座 SenseNovaSI-8B 本身就是强空间模型(68.7 已是开源最高分之一),SpatioLM 在其上 +2.9 即首破 70;而对弱基座 InternVL3.5-8B(56.1),SpatioLM_InternVL3.5-8B 到 65.0(+8.9)。更强的证据在通用能力不掉(Figure 6)与具身迁移(+11.8)——这是"非侵入式增强"的完整闭环,单看 VSI 分数确实会低估。

补充(2026-11-11): 一般规律是基座越强,可提升空间越小:68.7→71.6 是"在强基座上挤水分",56.1→65.0 是"在弱基座上补基础",两者不能直接比大小。评价这类方法应同时看四件事——绝对分、相对基座的净增益、通用能力保持率、下游迁移幅度;Table 5 第一行"无模块(基座)"就是净增益的参照系。

Q5: 和已读的 DenseRC / VL-DINO 是什么关系? ​

答: 三篇构成"CLIP/ViT 表征改造"光谱的三个位置:DenseRC 改 CLIP 本身(自蒸馏重构密集表征,服务检测/分割);VL-DINO 把 CLIP 当检测器外部知识源(蒸馏全局语义);SpatioLM 不改 CLIP、不接检测器,而是在 VLM 旁边加旁路模块激发中间层几何知识(服务空间推理)。共同暗线:都认定"预训练 VLM 的默认输出层/表示不够用",分歧只在改造位置与改造力度。SpatioLM 的旁路思路与 LiteLVLM 的即插即用剪枝也共享同一工程哲学:最小侵入、推理可拆。

补充(2026-11-11): 本文与 Spatial-MLLM 的分水岭可浓缩成两个动词——elicit(从内部激发,Figure 2(c))vs inject(从外部注入,Figure 2(b))。另外要区分两类"视觉-语言模型":CLIP 是双塔对比式、只输出相似度、不生成文字;本文讨论的 VLM 特指"ViT + LLM"的生成式架构。DenseRC / VL-DINO 改造的是 CLIP 表征,SpatioLM 改造的是生成式 VLM 的旁路,服务目标也不同(检测/分割 vs 空间推理)。

Q6: VLM 是什么?和 CLIP 有什么区别? ​

答: VLM(Vision-Language Model)是把图像编码成语言模型能读的 token,让同一个模型看图、读文、并用文字作答。典型结构为"视觉编码器(ViT)→ 投影层 → LLM 自回归生成",本文 Section 3.1 的 X = (X_v, X_t) → Y^t 就是这套流程。

需区分两类同名概念:CLIP 是双塔对比式,只输出图文相似度、不生成文字;本文所说的 VLM 特指"ViT + LLM"的生成式架构(GPT-4o、Qwen-VL、InternVL 等)。论文动机正是这类模型"语义强、空间弱"。

Q7: "纯 2D 框架激发内在 3D 几何结构"里的 2D 和 3D 各指什么? ​

答: 两者修饰的不是同一层面——2D 修饰框架,3D 修饰能力。

  • 2D(输入与架构):只有 RGB 图像/视频(T×H×W×3)+ 文本,没有深度图、点云、相机内外参;架构是标准 ViT + LLM,无 3D 编码器;推理接口是纯文本生成(Figure 3 说明:"inference requires no additional 3D priors")。
  • 3D(目标能力):带物理度量的几何——距离(米)、深度 D、相机 ray map R、尺寸、方位、跨视角一致性。"metric" 强调真实单位,不只是"A 比 B 近"的相对排序。

关键在 elicit:ViT 中间层 token 已隐式编码几何线索,只是标准 VLM 用最终层 token 送进 LLM,几何信息没被语言端利用。易错点:训练期确有伪深度/ray map 监督与 Dual DPT Head,但那是"教材"不是"输入",推理时可拆,所以"纯 2D"定性的是部署形态。

Q8: 显式几何先验范式具体怎么做?为什么被批评? ​

答: 思路是"VLM 自己不懂 3D,就把缺失的那一维从外部补给它",两条子路线:

  • 内参归一化 + 深度监督(DepthLM、SpatialBot):DepthLM 训练/推理时把相机焦距统一到 1000 像素,消除跨相机尺度歧义,再用米制深度标签把测距做成 QA(图上打标记问"多少米");SpatialBot 外挂深度估计模块做像素级 3D 理解,多视角/位姿任务退化。
  • 传感器 / 估计式 3D 输入(OmniEVA、RoboRefer、MM-Spatial / 3DRS、GS-Reasoner、SSR):RGB-D 直接给深度,或先用估计/重建得到显式几何再喂进 VLM。

三点批评(Section 1、附录 A.1/A.2):① 假定成像已标定,野外 RGB-only 无内参可用;② 依赖专用硬件或多阶段管线,误差级联累积;③ 几何推理被外置(externalize geometric reasoning),能力长在辅助模块而非 VLM 表征里,泛化与鲁棒性受限。

与本文关系:SpatioLM 借用 DepthLM 的任务形式(MD-S / MD-M / DR 的 QA 化测距),但明确不用其内参依赖——把 3D 先验从"推理期输入"挪到"训练期监督"。

Q9: 文中大量模型名需要先系统学习吗? ​

答: 不需要,只需知道角色。它们多出现在 Related Work 与对比表,论文对每个模型的描述本就一句话。按角色分五类即可:

角色代表作用
基座SenseNovaSI-8B/-2B、InternVL3.5-8B被继承且全程冻结的本体
教师Depth Anything V3提供蒸馏目标与 DPT head,不交权重
任务形式来源DepthLM提供 QA 化测距协议
靶子Spatial-MLLM外挂编码器掉 23%-67%,反衬非侵入
对手Cambrian-S-7B、π0 / DepthVLA / UniVLA被超越的 SOTA

其余按三范式归档:显式几何先验(SpatialBot、SpatialVLM、SpatialRGPT、OmniEVA、3DRS、RoboRefer、MM-Spatial、GS-Reasoner、SSR)、架构修改(SpatialLLM、VLM-3R、VG-LLM)、工具智能体(ViperGPT、VISPROG、VADAR、ViGoRL)。VSI-Bench / ScanQA / SQA3D / LIBERO 等是基准不是模型。

真需精读的只有两个:DepthLM(决定怎么理解 MD-S / MD-M 的评测协议)与 Spatial-MLLM(Figure 6 的核心论据)。

Q10: "VLM 基座"是什么意思?和教师、架构怎么区分? ​

答: 基座=已预训练好、被整份继承来当起点、且全程冻结的模型本体(原文 "Frozen Backbone"、"initialized from")。命名规则即 SpatioLM_X = X 基座 + SV-Module,其中 8B 指基座规模,不是全模型规模。

  • 基座 ≠ 教师:Depth Anything V3 只给监督信号与特征目标,不交权重;基座则交出全部网络与权重。
  • 基座 ≠ 架构:InternVL3 是架构规格(多少层、怎么连),SenseNovaSI-8B 是该架构下训出的具体权重实例。
  • 冻结 ≠ 微调:本文全冻结,只训 SV-Module(6×50M ≈ 300M,约为 8B 的 4%);Spatial-MLLM 必须在 3D 数据上微调主干,因而遗忘。

基座是全文的参照系:Table 5 首行、68.7→71.6、56.1→65.0 都以它为基准。

Q11: "LLM 执行代码 / 调深度估计 API / RL + verifier"是什么范式? ​

答: 第三范式(工具 / 智能体),把 VLM 当规划器而非计算器,两条分支:

  • 工具调用 / 代码生成:LLM 生成程序或结构化调用(tool calling),调深度估计器、3D 检测器取回几何量,再合成答案。代表 ViperGPT、VISPROG(代码组合视觉 API)、VADAR(动态编排)。注意 LLM 只生成调用,执行由外部解释器完成。
  • RL + verifier:不依赖 3D 标注,模型生成推理轨迹,verifier(规则匹配 / 多模态模型 / 可执行检查)打分当奖励,用策略梯度更新(ViGoRL 把 grounding 动作纳入 RL)。

批评(Section 1、附录 A.2):① 视觉主干空间能力 "fundamentally unimproved";② 多步执行延迟;③ API 失效导致级联误差;④ 能力未 internalized 进模型表征,换工具即失效。作者也承认它与空间基础模型是互补关系。

Q12: Eq 3 的联合概率公式怎么拆? ​

答: 它把"看图同时出几何与作答"拆成两级条件生成:

P(Y^t, Y^g | X_v, X_t) = P(Y^g | X_v, X_t) × ∏(i=1→L) P(y_i | y_<i, Y^g, X_v, X_t)

  • 第一因子:几何只条件在输入上,不含 Y^t——几何是看图就能定的量,不能反过来被答案影响,否则训练时会学成"看答案猜深度"。
  • 第二因子:逐 token 生成文本,且每一步都条件在 Y^g 上——相当于在图与文之间插入几何中间变量,形成 X → Y^g → Y^t 的信息通路。

与实现的关系:Y^g 不是推理时必须显式输出的中转站。训练期由 Dual DPT Head 预测并被 L_g 监督,同时几何特征经 Eq 6 注入 LM;证据在 Eq 7——语言损失 L_LL 里没有 Y^g,说明它已被吸收进网络。推理期 head 拆除。故 Eq 3 是建模视角,落地机制是"旁路注入 + 训练期辅助监督",Y^g 更像脚手架。

Q13: Section 3.2 各组件分别干什么?(通俗版) ​

答: 整段="给一个冻结的 VLM 配一个只管几何的助理"。

  • 视觉条件 / 第 16 层:主干一动不动;从 24 层 ViT 的第 16 层取 token(越深越语义化,几何在中间层保留最全)。
  • Eq 5(起草):H_i^g = M_sv(H_j^{v,-1}) + P_z(H_i^{g,-1}),在上一轮草稿上结合当前视觉与语言上下文滚动更新,而非每轮重写。
  • Eq 6(递纸条):Ĥ_j^m[I_v] = H_j^m[I_v] + P_z(H_i^g),加法注入到视觉 token 位置;P_z 零初始化 → 初期等价原版,注入量平滑增长。
  • j = k + i·s:隔 s 层注入一次,默认 K=6、每个 50M;K 加到 8/12 无额外收益。
  • 交替注意力:Frame(帧内细节)+ Global(跨帧一致性)交替,仅在 SV-Block 内部,不动 LLM 的因果自注意力。
  • Dual DPT Head:两支分别回归深度 D̂ 与 ray map R̂,稠密监督倒逼特征编码"多远、朝哪"。
  • 训练 vs 推理:训练用 L_LL + L_d + L_g;推理拆掉 DPT head,SV-Module 仅 prefill 前向一次、KV cache 复用,零额外开销。

记号提醒:笔记 3.2 起首两个 H₀^v(中间层 token 与送进 LLM 的最终层 token)同名,原文同样存在记号重名,按语境区分。


知识缺口与后续待补 ​

A. 影响读懂数字的(优先) ​

  1. VSI-Bench 八个子任务的定义(Obj.Cnt / Abs.Dist / Obj.Size / Room.Size / Rel.Dist / Rel.Dir / Route Plan / Appr.Order)——不查定义无法解释分项结构,也无法解释为何 Route Plan 仅 47.9、Abs.Dist 仅 55.7。
  2. MD-S / MD-M / DA-2K / DR 的评测协议:指标符号(δ<1.25 等)、数据来源(SUN RGB-D / NYUv2 / Waymo)、是否提供内参——直接决定与 DepthLM 的对比是否公平。
  3. L_de 与 L_ray 的具体形式及 λ_ray 取值(附录 C)——判断几何监督的实际强度。
  4. 伪标签生成管线:D̃、R̃ 由哪个模型/流程产出、有无对齐与筛选——决定 Q2 那个"误差上限"缺口能否闭合。

B. 复现或改造才需要的 ​

  1. VGGT 的 alternating attention 原始设计(本文只写"inspired by")。
  2. Dual DPT Head 与 Depth Anything V3 的接口细节(特征层数、上采样方式、损失权重借用)。
  3. 注入超参 k 与 s 的敏感性:论文给了 K 的消融,但起始层 k 与间隔 s 是否有消融需查附录。
  4. LIBERO 与 VLA 范式:VLA-0 的离散化方式、OpenVLA-OFT 的连续回归与 action chunking,才能解释 79.2→91.0 与 95.3→96.3 的差异来源。
  5. 训练成本与数据配比:600 epoch(感知)/ 2 epoch(理解)在 64×H200 上的实际时长、20K 视频 + 643K QA 的构成。

C. 论文本身的开放问题(可质疑处) ​

  1. 层数结论是移植而非验证:16/24 全赖 Bolya et al. 2026,自身无扫层消融,换基座即失效风险。
  2. 伪标签误差无分析:Q2 的缺口原文未讨论。
  3. Route Plan 47.9 明显偏低:路径规划类任务仍是短板,论文未做失败分析。
  4. Abs.Dist 55.7:绝对距离估计弱于相对判断,说明度量能力尚未真正解决。
  5. 通用能力"掉 1%-8%":绝对值不小;VideoMMMU 反升 +12% 也缺少解释,需核实是否为评测波动。