EAGLE-4 技術詳細解説
falとFireworksは、投機的デコーディング手法EAGLE-4の技術分析と、400件のクリエイティブなプロンプトからなる公開データセットを発表しました。NVIDIA B300 GPUでは、EAGLE-4 Harnessがバッチサイズ1で毎秒622.9トークンに達し、最速の代替手法の1.85倍でした。
記事の内容
fal は Fireworks と共同で、EAGLE-4 の技術解説と、創造的タスクでの投機的デコーディングを評価する公開データセット「Prompt Enhancement SpecBench」を公開しました。投機的デコーディングは、小さなドラフトモデルが提案したトークンをターゲットモデルがまとめて検証する手法で、出力分布は変わりません。画像・動画モデルのプロンプト強化の工程は、生成器が高速化するほど遅延に占める割合が大きくなります。
EAGLE-4 は EAGLE-3 にスライディングウィンドウ注意と低ランクの候補ヘッドを加え、GPU に合わせて調整するハーネスで分岐の木を検証します。NVIDIA B300 では、Fireworks のベンチで毎秒660.6トークン(最速の代替の1.63倍)、16トークン予算で木が連鎖より採択長を21〜26%改善したと報告しています。データセットは18のデータセット由来の400例です。
この要約は、fal の公式ページをもとに AnnuIA が自分の言葉で作成しました。内容および権利は発行元に帰属します。元の記事をご覧ください。