Nouveaux modèles ouverts NVIDIA Cosmos 3 pour la simulation interactive de mondes
NVIDIA publie quatre checkpoints à poids ouverts de la famille Cosmos 3, destinés à la simulation interactive de mondes et à la génération de données de conduite. Tous sont des variantes post-entraînées de Cosmos 3 Nano.
Ce que dit l'article
Les quatre modèles comptent 16 milliards de paramètres entraînables (15 milliards selon les fiches de modèle). Cosmos3-Nano-Transfer-Auto génère des vidéos de conduite multivues synchronisées jusqu’à 11 caméras, y compris fisheye, avec génération conjointe RVB et LiDAR et réglage de la météo, de l’éclairage et de l’heure. Cosmos3-Nano-Sim-Auto est une variante en flux qui produit des segments caméra et LiDAR en quelques étapes de débruitage pour des déroulements interactifs. Cosmos3-Nano-Sim-Transfer convertit des commandes de simulateur (profondeur, segmentation, contours, flou) et un texte en vidéo photoréaliste. Cosmos3-Nano-Sim-Bimanual prédit la vidéo à partir d’actions de robot ou de caméra pour les configurations à deux bras YAM et AgiBot.
Les recettes de post-entraînement, un pipeline en quatre étapes et des compétences d’agent sont disponibles sur GitHub. Les modèles sont sous licence OpenMDW-1.1, qui autorise les usages commerciaux et non commerciaux. La configuration Bimanual exige Linux, un GPU NVIDIA, Docker et NVIDIA Container Toolkit.
Lire l'article officiel Fiche AnnuIA
Résumé rédigé par AnnuIA avec ses propres mots, d'après la page officielle de Hugging Face. Le contenu et les droits appartiennent à l'éditeur : consultez l'article d'origine.
Autres annonces de Hugging Face
- Un regard approfondi sur Phonon TTS : une synthèse vocale locale de haute qualité en tête des benchmarks
- Dharma Field Extractor : un document en entrée, des champs structurés en JSON en sortie
- Transformers Model Integration Contracts
- StateBench : tester la façon dont les modèles de langage suivent les changements d’état dans de longs documents