EAGLE-4技术深度解析
fal与Fireworks发布了推测解码方法EAGLE-4的技术分析，以及包含400条创意提示词的公开数据集。在NVIDIA B300 GPU上，EAGLE-4 Harness在批大小为1时达到每秒622.9个token，是最快替代方案的1.85倍。
文章要点
fal 与 Fireworks 合作发布了 EAGLE-4 的技术分析,以及用于评测创意任务推测解码的公开数据集 Prompt Enhancement SpecBench。推测解码使用小型草稿模型提出词元,由目标模型一并验证,且不改变输出分布。随着图像和视频生成器越来越快,其提示词增强步骤在延迟中所占比例越来越大。
EAGLE-4 在 EAGLE-3 基础上加入滑动窗口注意力和低秩候选头,并通过适配 GPU 的调度框架在分支树上验证。作者称在 NVIDIA B300 GPU 上,Fireworks 基准达到每秒660.6个词元,为最快替代方案的1.63倍;在16个词元预算下,树结构相比链结构将接受长度提高21%至26%。该数据集含来自18个数据集的400个样本。
本摘要由 AnnuIA 根据 fal 官方页面用自己的话撰写。内容及版权归发布方所有，请阅读原文。