Overview

🏗️ Foundations — Explorer’s Map

Foundations 是跨 embodiment 共享的底层 — 3DGS / VGGT / Depth Foundation / 经典 SLAM 这些”工具箱”原语，无论你做 manipulation、aerial 还是 marine，最终都会回到这里。

目前收录 123 篇深度解析 + 13 区导读，是华语世界对空间智能底层最系统的拆解。

2026-05 重要更新（多轮叠加）：

• 🔮 Feed-Forward 3D：+ VGGT-Ω + MapAnything ★ (metric solved) + 即将 Depth Anything 3
• 📡 Sensor Physics ★：5 → 23 篇（+ RGB / GNSS / barometer / magnetometer / opt-flow / range finder + UWB / WiFi / 水下声呐 / 热红外 / 24GHz Doppler / mic array pending agent）
• 🧮 Spatial Math：+ 前置教学（rotation_intuition_primer）+ 跨领域数学灵感（cross_domain_math_inspirations）+ IMU §6 production 优化 10 项
• 📏 Depth Foundation：4 篇 v1.2 深化 + 新 depth_models_comparison.md ★（4 模型横向对比）

不知道从哪开始？先选你的角色 ↓

 

🎭 你是谁？

	角色	你的背景	👉 推荐起点
🧙	3D vision 研究者	熟悉 NeRF / SfM / Multi-view stereo	→ Feed-Forward 3D 三件套对照：VGGT v1 (CVPR 2025) + MapAnything (metric ★) + VGGT-Ω (efficient ★)
🤖	机器人感知工程师	调过 SLAM、做过 RGBD 处理	→ Depth Anything v2 解构，相对深度 vs 度量深度的现场 trap
🎮	图形学 / 渲染从业者	熟悉光线追踪、material shading	→ 3DGS 原始论文解构，看它如何在 6 个月内 100× NeRF
🛰️	跨 embodiment / 系统架构师	同时关注车 + 机器人 + AR	→ Crossing 章节旗舰，再回来看 foundations 当工具箱
📡	传感器 / 硬件团队	写过 driver、做过 BoM	→ 850nm 主动近红外解构，学界综述写不出的 SWaP-C 工程账
🗺️	SLAM 工程师	跑过 ORB-SLAM / VINS / OpenVINS	→ ORB-SLAM3 解构，经典框架的 multi-map atlas 设计
🧮	数学背景较弱、想补 SE(3)/BA	听过 quaternion 但没自信用对	→ SE(3)/SO(3) Lie group 入门，所有 SLAM/VIO 的数学骨架
🔬	NeRF 老粉、想跟上 3DGS	训过 NeRF / Instant-NGP	→ NeRF 原始论文解构，然后跳 3DGS — 范式转移看完整
🎯	manipulation 工程师	调过 grasp planner、用过 6D pose	→ FoundationPose 解构，novel-object pose 无需 per-object 训练
🎬	仿真 / sim2real 团队	调过 Isaac Sim / Gazebo	→ Splat-Sim for Manipulation，3DGS 当 photometric augmentation

 

---

 

🔍 一眼看清 13 区特性

分 3 张窄表 — GitHub 渲染友好。先看你想要的”上游 → 输出 → 下游”链；再查特性；最后看决策。

表 1 · 上游 → 输出 → 下游消费

区	🔼 上游 (input)	📦 输出 (output)	🔽 下游 (consumer)
🧮 Math	（n/a — 数学 primitives）	公式 / 算法 toolkit	所有 SLAM / VIO / BA / 3D 系统都引用
🗺️ Classical SLAM	视频流 + IMU 流（在线）	6DoF pose 轨迹 + 稀疏 map	controller / motion planner / autonomy stack
🔮 Feed-Forward 3D ★ 3 篇	N RGB (+MapAnything 可选 K/T/D/recon)	poses + depth + pointmaps + tracks（VGGT）或 米制 3D（MapAnything）	3DGS/NeRF init / SfM 替代 / manipulation grasp（米制时）
💎 3DGS family	N RGB + 相机姿态（COLMAP / VGGT 给）	显式 radiance field（gaussian set，可编辑）	NVS 渲染 / sim2real 数据 / 3D 可视化
🔬 NeRF family	N RGB + 相机姿态（同 3DGS）	隐式 radiance field（MLP / hash grid）	同 3DGS，但更高质量更慢
📏 Depth Foundation	单 RGB（DA v2 / Metric3D / MoGe）or stereo pair（FoundationStereo）	per-pixel depth map（DA 相对 / Metric3D 米制）	点云 lift / 障碍物 / VLA 输入
🎯 Pose & Tracking	RGB + 已知 mesh（FoundationPose）/ 视频流（RAFT, CoTracker）	6D 物体 pose / 像素轨迹	manipulation grasp / 多帧融合 / motion compensation
🌐 Semantic 3D	3D 表示（点 / NeRF / 3DGS）+ 2D 特征（CLIP / SAM）	语义 3D field（查询接口）	语言-条件 manipulation / open-vocab seg / VLA prompt
🧠 VLM Spatial 3 篇 ✅	RGB + 自然语言 query	文本答案 / bounding box	高层 planning prompt / 自然语言 grasp
🌍 World Model	RGB + action sequence	predicted future video / state	sim2real 数据 / VLA 训练数据 / short-horizon planner
🎬 Generative 3D Sim	真实 scene 重建（3DGS / NeRF）or mesh	渲染 dataset / sim2real 视觉端	policy training（manipulation / aerial）
⚛️ Physics	3DGS + 刚体动力学 + 可微物理	physics-aware 渲染 + sim 训练 + diff-physics co-design	软体增强 + GPU sim 大批量 + 可微控制器
📡 Sensor Physics ★	（n/a — 硬件物理）	sensor 选型论证 / 物理硬约束	BoM 决策 / 标定 / 失败诊断

 

表 2 · 运行特性（4 正交轴：推理 / 训练 / 硬件 / 米制）

v2 重设计 — 之前 1 列混了”训练时间”和”推理时间”，现在分清。每个轴独立。

区	🏃 推理速率	🎓 训练模式	🖥️ 最低部署硬件	📐 米制输出
🧮 Math	n/a（数学 toolkit）	n/a（经典）	n/a	n/a
🗺️ Classical SLAM	30 Hz real-time	❌ 无训练（经典算法）	CPU OK（Jetson Nano 即可）	✅ stereo/RGBD/IMU 给；mono ❌（scale drift）
🔮 Feed-Forward 3D (v1)	~5 Hz / latency 100-200 ms	❌ 已训好（用 pretrained）	Orin Nano + 3GB 内存	❌ un-metric（需要外部 anchor）
🔮 Feed-Forward 3D (Ω)	~10 Hz? UNVERIFIED	❌ 已训好（15× 数据 + 自监督）	Orin Nano（memory 比 v1 省 30%）	❌ un-metric
🔮 Feed-Forward 3D (MapAnything) ★	TBD（1B 模型推理重）	❌ 已训好（multi-task）	RTX 4090 / A100（1B params · 4GB F32）	✅ 米制 ★（factored repr 含 scale factor）
💎 3DGS family	render: 60+ FPS / 训练 5-30 min/scene	✅ 每场景训（per-scene fitting）	1× consumer GPU (RTX 3090+)	❌ 从上游 SfM 继承（COLMAP 米则米；VGGT 给则非米）
🔬 NeRF family	render: 0.1-30 FPS / 训练 30 min-hr/scene	✅ 每场景训	1× consumer GPU	❌ 同上（继承上游 SfM）
📏 Depth Foundation	per-frame ~50 ms	❌ 已训好	Orin Nano	DA v2: ❌ 相对 / Metric3D: ✅ / FoundationStereo: ✅
🎯 Pose & Tracking	per-frame ~50-100 ms	❌ 已训好	Orin / consumer GPU	✅（FoundationPose 直接给 6D pose）
🌐 Semantic 3D	LERF: 训完 ~30 Hz / OpenScene: 实时 lift	LERF: ✅ 每场景训 / OpenScene: ❌ 不训	LERF: 1 GPU 5 min/scene / OpenScene: edge OK	视基底 3D 几何（米则米，相对则相对）
🧠 VLM Spatial	per-query 500 ms - 数 s	❌ 已训好	A100 或 cloud API（VLM 大模型）	n/a（语言/文本输出）
🌍 World Model	per-step 1-数 s	❌ 已训好（大规模预训）	A100+ 或 cloud	❌
🎬 Generative 3D Sim	视方法（per-render varies）	视方法（Splat-Sim 用现成 3DGS / Aerial Gym 用预训）	consumer GPU	n/a（生成数据，非状态估计）
⚛️ Physics (PhysGaussian)	per-scene 训 + render	✅ 每场景训（材料参数手设）	1× GPU	n/a
📡 Sensor Physics ★	n/a（硬件物理）	n/a	n/a	n/a

 

读表秘诀：

• 🏃 推理速率 = 你的应用控制环 / 任务每帧能给的预算
• 🎓 训练模式 = 上线前是不是要训（“每场景训” = production blocker；“已训好” = 直接用）
• 🖥️ 最低部署硬件 = 能不能跑在 Orin Nano (edge) / consumer GPU (workstation) / A100 (cloud)
• 📐 米制输出 = 下游能不能拿到米（manipulation grasp / drone control 需要；rendering / visualization 不需要）

常见误用警告：

• 把 3DGS 当 “real-time 3D”（render 是实时，训练每场景 5-30 min 不是）
• 把 Depth Anything v2 当 “可以拿来 grasp”（它是相对深度，Metric3D 才给米）
• 把 SpatialVLM 当 “高精度 spatial”（它给语言答案，不给度量）
• 把 mono Classical SLAM 当 “完整 6DoF”（mono scale drift；需要 stereo/RGBD/IMU）

 

表 3 · 决定性因素（关键限制 / 何时选）

区	⚠️ 关键限制（接受才能用）	✅ 何时选（决定性场景）
🧮 Math	不是 dissection 工具	想吃透 SLAM / VIO 数学
🗺️ Classical SLAM	静态场景假设 / 白墙坍塌 / 200 Hz aerial 不够快	室内 manipulation / RGBD / AR 多 session
🔮 Feed-Forward 3D (VGGT v1/Ω)	200+ ms 延迟 / un-metric / N ≤ 30 / 边缘内存紧	离线 / 慢速 / 桌面环境替代 SfM
🔮 Feed-Forward 3D (MapAnything ★)	1B 模型推理重 / CC-BY-NC-4.0 非商用 / 仍 batch	需要 metric 输出的所有下游（manipulation grasp / 慢速 drone）
💎 3DGS family	1-2 GB/场景存储 / loop closure 难	高保真渲染 / sim 数据 / 可检视 3D primitive
🔬 NeRF family	训练慢 / 推理慢 / 但 quality 仍领先 ~1 dB	离线高质量 / city-scale (Block-NeRF) / surface 重建
📏 Depth Foundation	”相对 vs 米制”陷阱 / >30m 崩 / 透明镜面失败	任何要 depth 的下游 (manipulation / drone)
🎯 Pose & Tracking	透明 / 镜面 / 极小物体 / OOD 物体	manipulation grasp / 多帧追踪
🌐 Semantic 3D	LERF 每场景训 / 开集 query 有上限	语言-条件 grasp / 房间级查询
🧠 VLM Spatial	精确距离差 / occlusion 失败 / 慢	高层 spatial 问答 / planning prompt
🌍 World Model	70% hype 被 PRD 打 ❌ / 仅 data factory 或 short-horizon	sim2real 数据 / VLA 训练
🎬 Generative 3D Sim	接触动力学交给 Isaac / 只搞视觉	sim2real 视觉端 augmentation
⚛️ Physics	仅 soft-body，rigid contact 不行	软体仿真视觉端
📡 Sensor Physics ★	学界综述不写的硬约束	选 sensor / BoM 前必看

 

🎯 快速决策树 (5 秒选区)

你的需求？
│
├─ 我要数学基础                        → 🧮 Math
│
├─ 我要 6DoF pose 估计 (实时控制)
│   ├─ 室内 + RGBD / IMU 都有          → 🗺️ Classical SLAM (ORB-SLAM3)
│   ├─ Aerial 200 Hz 控制环              → 🗺️ Classical SLAM (VINS-Fusion @ embodiments/aerial/vio/)
│   ├─ 桌面 / 慢速 / 离线 + 不需米       → 🔮 VGGT v1 / VGGT-Ω
│   └─ 桌面 / 慢速 / 离线 + 要米 ★       → 🔮 **MapAnything** (metric solved!)
│
├─ 我要 depth (per-pixel)
│   ├─ 相对深度够用 (rendering)        → 📏 Depth Foundation (Depth Anything v2)
│   ├─ 米制必需 (manipulation)         → 📏 Depth Foundation (Metric3D) 或 stereo
│   └─ 大基线 outdoor                  → 📏 FoundationStereo + RTK
│
├─ 我要场景表示 (储存 / 可视化 / 编辑)
│   ├─ 实时高保真                      → 💎 3DGS family
│   ├─ 最高质量 (离线 OK)              → 🔬 NeRF family (Mip-NeRF 360)
│   └─ City-scale                      → 🔬 Block-NeRF / Mega-NeRF
│
├─ 我要语义 (object / region / language)
│   ├─ 物体 6D pose                    → 🎯 Pose & Tracking (FoundationPose)
│   ├─ 语义 3D field                   → 🌐 Semantic 3D
│   └─ 自然语言 query                  → 🧠 VLM Spatial Reasoning (SpatialVLM)
│
├─ 我要 sim2real / 训练数据
│   ├─ 视觉 augmentation               → 🎬 Generative 3D Sim (Splat-Sim)
│   ├─ 短期未来预测                    → 🌍 World Model (Genie)
│   └─ 软体物体                        → ⚛️ Physics (PhysGaussian)
│
└─ 我要选 sensor / 做 BoM             → 📡 Sensor Physics (23 篇全集 · drone 完整 stack)

 

🚦 实时 vs 离线 × 米制 vs 非米制 (二维定位)

                       米制 (Metric) ✅
                              │
                              │
   离线高质量                  │           实时米制
   (offline)                   │           (production-ready)
                              │
   • Metric3D (单帧推理)       │      • 🗺️ Classical SLAM
   • Mip-NeRF 360 surface      │        (ORB-SLAM3 + IMU/stereo)
                              │      • 🎯 FoundationPose
                              │      • 📏 stereo depth + RTK
                              │
   ────────────────────────────┼────────────────────────────────►
                              │                                  实时 (≥30 Hz) ✅
   • 🔬 NeRF / Instant-NGP     │      • 📏 Depth Anything v2
   • 💎 3DGS / 4DGS            │      • 🌐 OpenScene
   • 🔮 VGGT (large)           │      • 🎯 RAFT / CoTracker
                              │      • 🔮 VGGT-distilled (~10 Hz)
                              │
   离线非米制                   │           实时相对
   (offline, un-metric)        │           (real-time, relative)
                              │
                              │
                       非米制 / 相对 ❌

 

读图秘诀：你的应用控制环带宽（200 Hz aerial / 30 Hz manipulation / 几 Hz 离线）决定纵向位置；你能不能拿到 stereo / IMU / RTK 决定米制能不能给。两轴交叉的那一象限 = 你该用的工具区。

 

---

 

🌍 世界地图

读图方式：实线 = 建议学习顺序（从 feed-forward 3D 出发是最快理解全局的路径）。虚线 = Sensor Physics 是物理底层，遇到 “为什么 850nm？"" 为什么 RGBD 在户外失效？” 这种问题随时回来。

 

---

 

🏛️ 十三大区域

 

 

 

 

 

 

 

 

 

 

 

 

 

 

---

 

⚡ Speed Runs

没时间读 14 篇？选一条最短路线。

 

🏃 “我就想搞清楚 2024-2026 spatial 范式怎么变了”（3 篇）

3DGS Original → Depth Anything v2 → VGGT

开始 →（per-scene → foundation → feed-forward N-view 三段跃迁）

 

🎓 “我要为无人机选 perception stack”（4 篇）

Depth Anything v2 → FoundationStereo → 850nm 物理 → VGGT vs Drone VIO

开始 →（理解 relative-vs-metric，再决定 active vs passive）

 

🤖 “我要做 manipulation 的 3D-aware policy”（3 篇）

VGGT → OpenScene → bridge-to-vla/feature-cloud-to-action

开始 →（encoder → semantic lift → policy interface 完整链）

 

🧬 “我是 VLA 研究者，想跨过来看 spatial”（3 篇）

VGGT → SpatialVLM → bridge-to-vla/3d_aware_vla

开始 →（先建立 encoder 直觉，再看 3D 和 VLA 怎么接）

 

🏗️ “我是 sensor hardware 团队”（2 篇 + 1 crossing）

850nm NIR → crossing/sensor-stack-matrix

开始 →（先吃透物理，再看跨 embodiment SWaP-C 矩阵）

 

---

 

🏆 Achievements

读完一篇就算解锁。看看你能拿几个？

	成就	解锁条件
🥉	First Blood	读完任意 1 篇 dissection
🎓	Orientation	读完 VGGT + 3DGS Original + Depth Anything v2（三大底层）
💎	Full Map	8 区各读至少 1 篇
🐉	Boss Hunter	读完 3 篇 “最难”文章（见下表）
🧮	Math Initiated	读完 SE(3) primer + Bundle Adjustment + IMU preintegration
⚡	Speed Runner	完成任意一条 Speed Run
🛰️	Cross-Embodiment	至少读 1 篇 foundations + 1 篇 crossing/ + 1 篇 embodiments/
👑	Foundation Master	8 区各读全部文章

 

---

 

 

---

← Back to Handbook root · → Crossing (★ USP) · → Embodiments · → Bridge to VLA-Handbook