インタラクティブな世界シミュレーション向けの新しいNVIDIA Cosmos 3オープンモデル
NVIDIAは、インタラクティブな世界シミュレーションと運転データ生成向けに、Cosmos 3ファミリーのオープンウェイトのチェックポイントを4つ公開しました。いずれもCosmos 3 Nanoをポストトレーニングした派生モデルです。
記事の内容
4つのモデルはいずれも学習可能パラメータ数が160億です（モデルカードの記載は150億）。Cosmos3-Nano-Transfer-Auto は、魚眼を含む最大11台のカメラの同期したマルチビュー運転映像を生成し、RGBとLiDARの同時生成、天候・照明・時間帯の調整に対応します。Cosmos3-Nano-Sim-Auto はストリーミング型で、少ないデノイズ工程でカメラとLiDARのチャンクを生成し、インタラクティブな実行に使えます。Cosmos3-Nano-Sim-Transfer は、シミュレータの制御情報（深度、セグメンテーション、エッジ、ぼかし）とテキストプロンプトをフォトリアルな映像に変換します。Cosmos3-Nano-Sim-Bimanual は、双腕のYAMおよびAgiBot向けに、ロボットやカメラの動作から映像を予測します。
ポストトレーニングのレシピ、4段階の学習パイプライン、エージェントスキルはGitHubで公開されています。ライセンスはOpenMDW-1.1で、商用・非商用の利用が可能です。Bimanualの環境にはLinux、NVIDIA GPU、Docker、NVIDIA Container Toolkitが必要です。
この要約は、Hugging Face の公式ページをもとに AnnuIA が自分の言葉で作成しました。内容および権利は発行元に帰属します。元の記事をご覧ください。