EAGLE-4: तकनीकी गहन विश्लेषण
fal और Fireworks ने स्पेकुलेटिव डिकोडिंग विधि EAGLE-4 का तकनीकी विश्लेषण और 400 रचनात्मक प्रॉम्प्ट का सार्वजनिक डेटासेट जारी किया है। NVIDIA B300 GPU पर EAGLE-4 Harness बैच साइज़ 1 पर 622.9 टोकन प्रति सेकंड तक पहुँचता है, जो सबसे तेज़ विकल्प से 1.85 गुना है।
लेख में क्या कहा गया है
fal ने Fireworks के सहयोग से EAGLE-4 का तकनीकी विश्लेषण और रचनात्मक कार्यों पर स्पेकुलेटिव डिकोडिंग परखने के लिए सार्वजनिक डेटासेट Prompt Enhancement SpecBench प्रकाशित किया है। इस तकनीक में एक छोटा ड्राफ़्ट मॉडल टोकन सुझाता है, जिन्हें लक्ष्य मॉडल एक साथ जाँचता है, और आउटपुट वितरण नहीं बदलता। जैसे-जैसे जनरेटर तेज़ होते हैं, इमेज और वीडियो मॉडलों में प्रॉम्प्ट एन्हांसमेंट चरण विलंबता का बड़ा हिस्सा बन जाता है।
EAGLE-4, EAGLE-3 को स्लाइडिंग-विंडो अटेंशन और निम्न-रैंक कैंडिडेट हेड के साथ आगे बढ़ाता है; सत्यापन शाखाओं के वृक्ष पर GPU के अनुसार ढलने वाले हार्नेस से होता है। NVIDIA B300 GPU पर लेखक Fireworks बेंच पर 660.6 टोकन प्रति सेकंड बताते हैं, जो सबसे तेज़ विकल्प का 1.63 गुना है, और 16 टोकन बजट पर वृक्ष की स्वीकृति लंबाई शृंखला से 21% से 26% बेहतर है। डेटासेट में 18 डेटासेट से 400 उदाहरण हैं।
आधिकारिक लेख पढ़ें AnnuIA प्रोफ़ाइल
यह सारांश AnnuIA ने fal के आधिकारिक पृष्ठ के आधार पर अपने शब्दों में लिखा है। सामग्री और अधिकार प्रकाशक के हैं: कृपया मूल लेख पढ़ें।