EAGLE-4: технический разбор
fal и Fireworks опубликовали технический разбор EAGLE-4 — метода спекулятивного декодирования — и открытый набор из 400 творческих промптов. На GPU NVIDIA B300 EAGLE-4 Harness достигает 622,9 токена в секунду при размере батча 1, что в 1,85 раза быстрее лучшей альтернативы.
О чём статья
Компания fal совместно с Fireworks опубликовала технический разбор EAGLE-4 и открытый набор данных Prompt Enhancement SpecBench для оценки спекулятивного декодирования на творческих задачах. Метод использует небольшую черновую модель, предлагающую токены, которые целевая модель проверяет пакетом, не меняя распределение выхода. Шаг улучшения промпта в моделях изображений и видео занимает всё большую долю задержки по мере ускорения генераторов.
EAGLE-4 развивает EAGLE-3: добавлены внимание со скользящим окном и низкоранговая голова кандидатов; проверка идёт по дереву ветвей с обвязкой, подстраивающейся под GPU. На GPU NVIDIA B300 авторы сообщают о 660,6 токена в секунду на бенчмарке Fireworks, что в 1,63 раза выше лучшей альтернативы, и о приросте длины принятия на 21–26 % у дерева против цепочки при бюджете 16 токенов. В наборе 400 примеров из 18 датасетов.
Читать официальную статью Карточка AnnuIA
Краткое изложение написано AnnuIA своими словами по официальной странице fal. Содержание и права принадлежат издателю: читайте оригинальную статью.