EAGLE-4: análisis técnico en profundidad
fal y Fireworks publican un análisis técnico de EAGLE-4, un método de decodificación especulativa, y un conjunto de datos público de 400 prompts creativos. En GPU NVIDIA B300, el EAGLE-4 Harness alcanza 622,9 tokens por segundo con lote 1, 1,85 veces la mejor alternativa.
Qué dice el artículo
fal, en colaboración con Fireworks, publica un análisis técnico de EAGLE-4 y un conjunto de datos público, Prompt Enhancement SpecBench, para evaluar la decodificación especulativa en tareas creativas. Esta técnica usa un pequeño modelo borrador que propone tokens que el modelo objetivo verifica en conjunto, sin alterar la distribución de salida. El paso de mejora de prompts en modelos de imagen y vídeo pesa cada vez más en la latencia a medida que los generadores se aceleran.
EAGLE-4 amplía EAGLE-3 con atención de ventana deslizante y una cabeza de candidatos de rango bajo; la verificación se hace sobre un árbol de ramas con un arnés que se adapta a la GPU. En GPU NVIDIA B300, los autores informan de 660,6 tokens por segundo en el banco de Fireworks, 1,63 veces la mejor alternativa, y una mejora del 21 % al 26 % en la longitud de aceptación del árbol frente a la cadena con un presupuesto de 16 tokens. El conjunto tiene 400 ejemplos de 18 conjuntos.
Leer el artículo oficial Ficha AnnuIA
Resumen redactado por AnnuIA con sus propias palabras a partir de la página oficial de fal. El contenido y los derechos pertenecen al editor: consulte el artículo original.