EAGLE-4: Technischer Deep Dive
fal und Fireworks veröffentlichen eine technische Analyse von EAGLE-4, einem Verfahren für spekulatives Decoding, samt öffentlichem Datensatz mit 400 kreativen Prompts. Auf NVIDIA-B300-GPUs erreicht das EAGLE-4 Harness bei Batchgröße 1 622,9 Token pro Sekunde, das 1,85-Fache der schnellsten Alternative.
Worum es im Artikel geht
fal veröffentlicht gemeinsam mit Fireworks eine technische Analyse von EAGLE-4 sowie einen öffentlichen Datensatz, Prompt Enhancement SpecBench, zum Testen von spekulativem Decoding bei kreativen Aufgaben. Dabei schlägt ein kleines Entwurfsmodell Token vor, die das Zielmodell gemeinsam prüft, ohne die Ausgabeverteilung zu verändern. Der Prompt-Enhancement-Schritt von Bild- und Videomodellen macht einen wachsenden Anteil der Latenz aus, je schneller die Generatoren werden.
EAGLE-4 erweitert EAGLE-3 um Gleitfenster-Attention und einen Kandidatenkopf niedrigen Rangs; die Prüfung erfolgt über einen Baum von Zweigen mit einem GPU-adaptiven Harness. Auf NVIDIA-B300-GPUs berichten die Autoren 660,6 Token pro Sekunde auf dem Fireworks-Benchmark, das 1,63-Fache der besten Alternative, und 21 bis 26 % mehr Akzeptanzlänge für den Baum gegenüber der Kette bei 16 Token Budget. Der Datensatz umfasst 400 Beispiele aus 18 Datensätzen.
Offiziellen Artikel lesen AnnuIA-Profil
Zusammenfassung von AnnuIA in eigenen Worten nach der offiziellen Seite von fal. Inhalt und Rechte liegen beim Herausgeber: bitte den Originalartikel lesen.