NVIDIA Nemotronオープンモデルでお化け屋敷を作る
記事は、ハロウィンの投影企画MonsterHouseを紹介している。海賊風の気難しいガレージドアが子どもたちに話しかけ、礼儀正しいと態度が和らぐ。1台のワークステーション上で、NVIDIAのオープンな音声・言語・顔アニメーション技術を使って動く。
記事の内容
NVIDIAは2026年10月30日、Hugging Faceのブログで、社員が制作したハロウィン向けのインタラクティブ作品「MonsterHouse」を紹介しました。ガレージのドアに口と気難しい性格を与え、海賊船の生い立ちを持たせたもので、お菓子をねだる子どもに文句を言いますが、「お願いします」や「ありがとう」と言われると態度が和らぎます。NVIDIAのオープンモデルとNemotron Voice Agentの設計例を示す事例です。
システム全体は1台のワークステーションで動作します。聞き取りにNemotron Speech ASR、性格付けにLoRAアダプター付きのNemotron 3.5 Bolt E4B、音声にMagpie TTS Zeroshot、口の動きにUnreal Engine 5上のAudio2Face-3D、さらに任意で仮装を説明する画像認識を組み合わせています。発話終了から音声までの遅延の中央値は1.70秒、キャッシュ応答は0.72秒と報告されています。コード自体は公開されていませんが、独自のキャラクターを作るための6段階の手順が示されています。画像認識の試験は合成映像によるもので、アニメーションにも改善の余地があると著者は述べています。
この要約は、Hugging Face の公式ページをもとに AnnuIA が自分の言葉で作成しました。内容および権利は発行元に帰属します。元の記事をご覧ください。