Novos modelos abertos NVIDIA Cosmos 3 para simulação interativa de mundos
A NVIDIA lançou quatro checkpoints de pesos abertos da família Cosmos 3 para simulação interativa de mundos e geração de dados de direção. Todos são variantes pós-treinadas do Cosmos 3 Nano.
O que diz o artigo
Os quatro modelos têm 16 bilhões de parâmetros treináveis (15 bilhões segundo os cartões dos modelos). O Cosmos3-Nano-Transfer-Auto gera vídeo de direção multivisão sincronizado com até 11 câmeras, incluindo olho de peixe, com geração conjunta RGB-LiDAR e ajuste de clima, iluminação e hora do dia. O Cosmos3-Nano-Sim-Auto é uma variante em streaming que produz blocos de câmera e LiDAR em poucas etapas de remoção de ruído para execuções interativas. O Cosmos3-Nano-Sim-Transfer converte controles de simulador (profundidade, segmentação, bordas, desfoque) e um texto em vídeo fotorrealista. O Cosmos3-Nano-Sim-Bimanual prevê vídeo a partir de ações de robô ou câmera para configurações de dois braços YAM e AgiBot.
Receitas de pós-treinamento, um pipeline de treinamento em quatro etapas e habilidades de agente estão no GitHub. Os modelos usam a licença OpenMDW-1.1, que permite uso comercial e não comercial. A configuração Bimanual exige Linux, uma GPU NVIDIA, Docker e o NVIDIA Container Toolkit.
Ler o artigo oficial Ficha AnnuIA
Resumo escrito pela AnnuIA com suas próprias palavras, com base na página oficial de Hugging Face. O conteúdo e os direitos pertencem ao editor: consulte o artigo original.
Mais anúncios de Hugging Face
- Um olhar detalhado sobre o Phonon TTS: fala de alta qualidade no dispositivo que lidera os benchmarks
- Dharma Field Extractor: qualquer documento de entrada, campos estruturados em JSON na saída
- Transformers Model Integration Contracts
- StateBench: testando como os modelos de linguagem acompanham mudanças de estado em documentos longos