用于交互式世界模拟的全新 NVIDIA Cosmos 3 开放模型
NVIDIA 发布了 Cosmos 3 系列的四个开放权重检查点，用于交互式世界模拟和驾驶数据生成。它们均为 Cosmos 3 Nano 的后训练变体。
文章要点
四个模型均为 160 亿可训练参数（模型卡标注为 150 亿）。Cosmos3-Nano-Transfer-Auto 可生成最多 11 路摄像头（含鱼眼）同步的多视角驾驶视频，支持 RGB 与 LiDAR 联合生成，并可调节天气、光照和时间。Cosmos3-Nano-Sim-Auto 为流式变体，用少量去噪步骤生成摄像头和 LiDAR 数据块，用于交互式推演。Cosmos3-Nano-Sim-Transfer 将模拟器控制信息（深度、分割、边缘、模糊）和文本提示转换为照片级逼真的视频。Cosmos3-Nano-Sim-Bimanual 针对 YAM 和 AgiBot 双臂形态，根据机器人或相机动作预测视频。
后训练配方、四阶段训练流程和智能体技能已在 GitHub 提供。模型采用 OpenMDW-1.1 许可，允许商业和非商业使用。Bimanual 配置需要 Linux、NVIDIA GPU、Docker 和 NVIDIA Container Toolkit。
本摘要由 AnnuIA 根据 Hugging Face 官方页面用自己的话撰写。内容及版权归发布方所有，请阅读原文。