> ## Documentation Index
> Fetch the complete documentation index at: https://kensou.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

# Nvidia cosmos dissection

# NVIDIA Cosmos 解构 (NVIDIA Cosmos World Foundation Models — Dissection)

> ⚠️ **2026-05 状态**: 原 `NVIDIA/Cosmos` repo 已 deprecate (#167)；新代码在 [`nvidia-cosmos/` org](https://github.com/nvidia-cosmos)（14+ 子库）。本文档 url/clone 命令以新 org 为准。

> **发布时间**: CES 2025 announcement (NVIDIA)
> **论文 / 模型**: Cosmos World Foundation Model Platform — Cosmos-Predict / Cosmos-Transfer / Cosmos-Reason
> **核心定位**: 一套**为机器人 rollout 美学调过的 conditional video synthesis stack**——价值落在**数据工厂**，而非"rollout 当规划器"。

Cosmos 不是套了 transformer 外衣的物理仿真器，而是一条挂着 sim2real bridge 故事的视频生成管线。唯一重要的问题是：在某个可证伪的 benchmark 上，用 Cosmos 增广过的数据训出来的 VLA，能否真的胜过没用的版本。

**Status:** v1.1 — opinionated draft. Backfilled to AGENTS.md 14-item dissection template 2026-05-21. All throughput / sim2real-gap deltas marked `UNVERIFIED`.
**Wedge tier:** W2 · 🔧 \[WorldModel] 🛰️
**TL;DR:** Cosmos 不是"物理仿真"意义上的 world model——它是一套 **conditional video synthesis stack，调到看起来足够物理合理，以致 VLA 用其 rollout 训出来后不会在真硬件上立刻崩**。价值在数据工厂，不在 rollout 当规划器。2027 年的关键问题是：在某个可证伪的 manipulation benchmark 上，Cosmos 增广的训练 mix 能否可测量地缩窄 sim2real gap。

### X-Ray (non-expert friendly)

(a) 机器人数据是瓶颈——真实遥操作约 \$10–50 / episode `UNVERIFIED`，经典 sim 便宜但视觉错位。(b) Cosmos 把 Isaac-sim 的 depth/seg 转成 photoreal RGB video，并用 VLM critic 过滤物理违规片段，产出**VLA 训练数据工厂**，而非规划器。(c) 对空间 AI 工程师：把 Cosmos 当 ablation 表里的一种数据源——它关掉**外观 gap**，关不掉**动力学 gap**；对 contact-rich 精细任务无用。

### 📍 Research Landscape Timeline

```
Isaac Sim 2018 ─► DriveDreamer / GAIA-1 2023 ─► Sora 2024 ─► ★ Cosmos CES 2025 ─► Cosmos v2 + 3D-aware critic 2026? ─► ?
                                                                  │
                                                                  └── peer: Genie (action-conditional planner)
```

Cosmos 是首个**面向具身 AI** 的 video foundation stack，并显式拆为 Predict/Transfer/Reason 三块。下游开放问题：action-conditioning fidelity、contact dynamics、learned-material grounding。

***

## 1 · Why this question matters

机器人数据是瓶颈。真实遥操作每集 \~\$10–50 `UNVERIFIED`；经典 sim（Isaac、MuJoCo）便宜但视觉上有域差。Cosmos 的卖点：付 GPU 费、拿到看起来像真实 wrist camera 的 rollout，训出 VLA，部署能扛真实 RGB 的策略。**唯一值得看的 benchmark 是：这种策略能否胜过 Isaac + 标准 domain randomization 训出来的策略**；其它皆为美学。

Cosmos 落在 `foundations/world-model/` 是因为数据管线场景在 manipulation、humanoid、ground robot 间通用。driving 的姊妹线（DriveDreamer、GAIA-1）以后挪到 `embodiments/driving/`。

***

## 2 · Model family architecture

> 📌 **Napkin Formula**: `VLA_data ≈ Cosmos-Transfer(Isaac depth/seg) → Cosmos-Predict(extend) → Cosmos-Reason(filter)`——三个视频模型串联，**不是一个物理仿真器**。

NVIDIA 在 CES 2025 把 Cosmos 发布为"World Foundation Model Platform"，分三个子家族（NVIDIA 营销外的具体 spec 数字 `UNVERIFIED`）：

| Sub-family          | Architecture class                                                                 | Conditioning                                         | Primary use                        |
| ------------------- | ---------------------------------------------------------------------------------- | ---------------------------------------------------- | ---------------------------------- |
| **Cosmos-Predict**  | Diffusion + autoregressive video generators (4B / 12B / 14B variants `UNVERIFIED`) | Text + first-frame + optionally action / trajectory  | 生成合理的机器人摄像头 rollout                |
| **Cosmos-Transfer** | ControlNet 风格的结构迁移                                                                 | Depth / segmentation / edge from sim → photoreal RGB | Isaac 资产的 sim2real domain bridging |
| **Cosmos-Reason**   | VLM (\~7B)，针对视频空间 / 物理推理 fine-tune                                                 | Multi-frame video → text                             | 质量门控生成的 rollout；reject 违反物理的片段     |

VLA 训练数据 pipeline 视图：

```
  Isaac Sim trajectories + depth/seg
        ──► Cosmos-Transfer (depth/seg → photoreal RGB)
        ──► Cosmos-Predict (extend rollout + camera jitter)
        ──► Cosmos-Reason (physics QA, reject bad)
        ──► VLA training mix
```

架构上的承诺：**Cosmos 不模拟物理，它学合理视频的统计**，再用 Cosmos-Reason 当判别器。这就限死了 Cosmos 的能力天花板——contact-rich dynamics、deformables、OOD 物理只要不在 Cosmos-Reason 的训练分布里都会漏过去。

> ⚡ **Eureka Moment**: **Generator + Critic ≠ Simulator**，但用作 VLA 训练 mix 时可以*够用*。Cosmos-Reason 是承重件——没有学到的判别器筛掉违反物理的片段，free-generation 的 Cosmos-Predict 反而毒害 VLA 监督的速度比帮助的速度还快。

### 2.5 · Worked example — Isaac peg-in-hole augmentation

100-episode Isaac peg-in-hole 数据集（wrist cam, 256×256，含 depth + seg）：

* **Transfer**: `(depth, seg)` → photoreal RGB；A100 上约 1–3 s/frame `UNVERIFIED`。
* **Predict**: 每段延长 10–20 帧 camera jitter。
* **Reason**: 因 object permanence / hand-object intersection 拒 \~20–40% 片段 `UNVERIFIED`。
* **Mix**: 60/30/10（Isaac / real / Cosmos）训练。
* **真机 delta 预期**（contact-rich peg-in-hole）：**接近零**（像素 gap 不是瓶颈）。同 pipeline 上一个杂乱桌面抓取：合理 +3–8% `UNVERIFIED`。

外观瓶颈任务收益，接触密集任务不收益——§6 的微缩版。

***

## 3 · Where it actually helps (vs where it's just expensive generation)

| Scenario                                 | Helps?     | Why                                                      |
| ---------------------------------------- | ---------- | -------------------------------------------------------- |
| Wrist-camera manipulation, 常见家用物体        | ✅ likely   | 纹理 / 光照是 sim2real 主 gap；Cosmos-Transfer 直击               |
| Humanoid loco-manipulation, 场景多样         | ✅ likely   | 场景多样性瓶颈在 3D 资产成本，Cosmos 绕过                               |
| 精密插装、接触密集装配                              | ❌ doubtful | gap 是物理而非像素；像素完美但接触错误的 rollout 没用                        |
| Long-horizon mobile manipulation (>30 s) | ⚠️ partial | Cosmos-Predict 会漂；只能当短片段生成器                              |
| Driving — closed-loop policy training    | ⚠️ partial | GAIA-1 / DriveDreamer 教训：traffic-agent 行为 gap 才是真瓶颈，像素次要 |
| 无人机高速航拍                                  | ❌          | 无高速运动模糊、桨振、户外光照先验                                        |

读这张表的方式：**Cosmos 关掉外观 gap，不关动力学 gap**。如果你的 sim2real 失败是"纹理错、真实木纹上失败"，Cosmos 值它的 GPU 钱。如果是"接触力矩差 3 倍"，Cosmos 无关——你要的是更好的物理，不是更好的像素。

***

## 4 · Where it breaks

公开 demo + 社区报告中可观察的失败模式（严重度 `UNVERIFIED`）：

* **5 秒以上 rollout 的 object permanence** —— 小物体被换 / 消失；对依赖跟踪的策略致命。
* **手物相交** —— Cosmos-Reason 抓得到粗暴违反；细微指头穿模会漏过去，毒害 VLA 监督。
* **相机运动下的光照一致性** —— 全局光照漂移，是"没有场景表示、只有视频先验"的标志。
* **Action-conditioning fidelity** —— 渲染出来的手并未精确跟随显式的末端轨迹。这是与 Genie 的差距。

心智模型：**Cosmos-Predict 是带机器人 domain 先验的视频模型，不是带视频输出的机器人模型**。Cosmos-Reason 之所以存在，*正是因为*生成器单独不可信。

### 4.x · Hidden Assumptions

哪些上游承诺被违反时，Cosmos 反而成有害源：

* **sim2real gap 由外观主导** —— tabletop pick / pour 上成立，contact-rich 装配上不成立。
* **Cosmos-Reason 的训练分布覆盖你的物理 regime** —— 对 deformable / granular / fluid 超出其见过的 mix 不成立。
* **你有 Isaac（或类似）源管线** —— Cosmos-Transfer 需要 depth + seg 输入；纯 RGB 拍摄不解锁。
* **能负担在你的 wrist-cam 分布上做 domain finetune** —— 开箱 Cosmos 通用，遇到新摄像头会退化。
* **VLA 能容忍 ≤20% 噪声监督** —— Cosmos-Reason 抓粗违反，不抓细指穿模；脆弱策略会被放大。

任一被违反，预期**静默失败** —— Cosmos rollout 在人眼里没毛病，却暗中毒害策略训练。

### 4.y · GitHub 实地失败（atlas 联动）

* **GitHub-validated**：原 `NVIDIA/Cosmos` 8096★ monolithic repo 已被 issue #167 *"Deprecate codebase"* 合并后正式 deprecate，生态拆到 `nvidia-cosmos/` org 14+ 子库；**"git clone 一份跑通"路径已死**，详见 [`github_failure_atlas.md`](./github_failure_atlas.md)。读者必须立刻迁移到 `cosmos-predict2.5` + `cosmos-transfer2.5` + `cosmos-rl` + `cosmos-curate` 四个活子库的拼装。
* **GitHub-validated**：predict1 / reason1 / transfer1 / predict2 都已被 2.5 替代而进入 📖 历史态；任何引用旧子库的教程或论文 baseline 都要核对版本号，详见 [`github_failure_atlas.md`](./github_failure_atlas.md)。
* **GitHub-validated**：**"Cosmos-trained VLA improves task X by Y" 至今无独立第三方验证** — 本 lane 最大未解问，社区欠这个数；任何论文报"Cosmos 数据 improves VLA"没有 baseline ablation 都该严审，详见 [`github_failure_atlas.md`](./github_failure_atlas.md)。

**Interview Tip**：被问 Cosmos 时，答"数据工厂，不是规划器——而且只对外观瓶颈任务有效；动力学 gap 不变"。这一区分把读懂方法的工程师和读营销的人分开。

***

## 5 · Deployment patterns that ship today

1. **增广，不是替换**。在 Isaac + 真实 teleop + Cosmos rollout 的可量化 mix（如 60/30/10）里训。别替换真实数据。
2. **Cosmos-Transfer 优先于 Cosmos-Predict**。Transfer 受 sim 条件约束；底层物理仍来自 Isaac，比自由生成的 Predict 更可信。
3. **永远过门**。用 Cosmos-Reason 或手工物理过滤器；未过滤的 Predict 毒害 VLA 训练的速度比帮助快。
4. **必须做 domain finetune**。开箱 Cosmos 通用；只有在你机器人 wrist-camera 分布上微调过才有用。

***

## 6 · 2-year outlook + falsifiable prediction

预计到 **2027-06**，Cosmos-Transfer 会成为 manipulation VLA 论文里的标准步骤（像今天的 DR），出现显式 action-conditioning 的 Cosmos v2 缩小与 Genie 的差距，Cosmos-Reason 由 3D-aware critic 加强（Cosmos × 3DGS 混合是显然的下一步）。

**Falsifiable prediction:** 在 2027-12 之前，**不会有任何公开 manipulation VLA 报告 contact-rich benchmark（peg-in-hole、deformable 操作）上仅靠 Cosmos 增广就拿到 >15% 真实世界成功率提升**。收益落在外观瓶颈任务（杂乱桌面拾取、新纹理倾倒）上 3–10%。任何标题写 >20% 的应当下注反方。

***

## For the reader

* **Manipulation VLA team:** 你 ablation 表上多一个数据源。不要围绕它重组整个 stack。
* **Driving team:** DriveDreamer / GAIA-1 是更近的近亲。教训能迁，模型大概率不能。
* **Aerial / outdoor robot:** 2027 之前忽略——训练分布不覆盖你的 domain。
* **Researcher:** 开放问题是 **physics-grounded conditioning** —— 让可微物理 rollout 约束扩散采样器。明显桥接到 `foundations/physics/`。

***

## References

* NVIDIA Cosmos announcement — CES 2025 keynote. [https://www.nvidia.com/en-us/ai/cosmos/](https://www.nvidia.com/en-us/ai/cosmos/)
* Cosmos technical report — \[arXiv link TBD], 2025.
* Isaac Sim / Isaac Lab — [https://developer.nvidia.com/isaac/sim](https://developer.nvidia.com/isaac/sim)
* DriveDreamer (sibling driving line) — Wang et al. \[arXiv link TBD]
* GAIA-1 (Wayve, contrast case for driving) — Hu et al. *arXiv 2309.17080*

## Boundary

本文把 Cosmos 解构为**具身策略训练的数据工厂**。消费 / 创意视频用例按 lane PRD 划在范围外。跨家族对比归 `crossing/representation-migration/world-models-as-data-vs-planner.md`（TBD）。VLA 侧关于"Cosmos 数据是否真帮我的策略"的测量归 `bridge-to-vla/cosmos-augmented-vla-training.md`（TBD）。

***

*Last opinion update: 2026-05-21.*