EAGLE-4 : analyse technique approfondie
fal et Fireworks publient une analyse technique d'EAGLE-4, une méthode de décodage spéculatif, et un jeu de données public de 400 prompts créatifs. Sur GPU NVIDIA B300, l'EAGLE-4 Harness atteint 622,9 tokens par seconde à taille de lot 1, soit 1,85 fois la meilleure alternative.
Ce que dit l'article
fal, en collaboration avec Fireworks, publie une analyse technique d'EAGLE-4 ainsi qu'un jeu de données public, Prompt Enhancement SpecBench, pour évaluer le décodage spéculatif sur des tâches créatives. Le décodage spéculatif utilise un petit modèle brouillon qui propose des jetons que le modèle cible vérifie en bloc, sans changer la distribution de sortie. L'étape d'amélioration de prompt des modèles d'image et de vidéo pèse davantage dans la latence à mesure que les générateurs accélèrent.
EAGLE-4 étend EAGLE-3 avec une attention à fenêtre glissante et une tête de candidats de faible rang ; la vérification se fait sur un arbre de branches avec un harnais qui s'adapte au GPU. Sur des GPU NVIDIA B300, les auteurs rapportent 660,6 jetons par seconde sur le banc Fireworks, soit 1,63 fois la meilleure alternative, et un gain de longueur d'acceptation de 21 à 26 % pour l'arbre face à la chaîne avec un budget de 16 jetons. Le jeu de données compte 400 exemples issus de 18 jeux.
Lire l'article officiel Fiche AnnuIA
Résumé rédigé par AnnuIA avec ses propres mots, d'après la page officielle de fal. Le contenu et les droits appartiennent à l'éditeur : consultez l'article d'origine.