EAGLE-4: análise técnica aprofundada
A fal e a Fireworks publicam uma análise técnica do EAGLE-4, um método de decodificação especulativa, com um conjunto de dados público de 400 prompts criativos. Em GPU NVIDIA B300, o EAGLE-4 Harness atinge 622,9 tokens por segundo com lote 1, 1,85 vez a melhor alternativa.
O que diz o artigo
A fal, em colaboração com a Fireworks, publica uma análise técnica do EAGLE-4 e um conjunto de dados público, o Prompt Enhancement SpecBench, para avaliar a decodificação especulativa em tarefas criativas. Essa técnica usa um pequeno modelo rascunho que propõe tokens que o modelo-alvo verifica em conjunto, sem alterar a distribuição de saída. A etapa de melhoria de prompts em modelos de imagem e vídeo pesa cada vez mais na latência à medida que os geradores ficam mais rápidos.
O EAGLE-4 amplia o EAGLE-3 com atenção de janela deslizante e uma cabeça de candidatos de baixo posto; a verificação ocorre sobre uma árvore de ramos, com um arnês que se adapta à GPU. Em GPUs NVIDIA B300, os autores relatam 660,6 tokens por segundo no banco da Fireworks, 1,63 vez a melhor alternativa, e ganho de 21 % a 26 % no comprimento de aceitação da árvore frente à cadeia com orçamento de 16 tokens. O conjunto tem 400 exemplos de 18 conjuntos.
Ler o artigo oficial Ficha AnnuIA
Resumo escrito pela AnnuIA com suas próprias palavras, com base na página oficial de fal. O conteúdo e os direitos pertencem ao editor: consulte o artigo original.