CWE-bench v2: अधिक कवरेज, गुणवत्ता और पारदर्शिता
Hugging Face ने CWE-bench v2 प्रकाशित किया है, जिसे अधिक कवरेज, बेहतर गुणवत्ता और अधिक पारदर्शिता के साथ प्रस्तुत किया गया है। पोस्ट 3 नवंबर 2026 को प्रकाशित हुई।
लेख में क्या कहा गया है
CWE-bench v2, 91 CWE को कवर करने वाले 100 सार्वजनिक कार्यों का सेट है, जो परखता है कि AI एजेंट असली ओपन-सोर्स रिपॉज़िटरी में सुरक्षा कमज़ोरियाँ ढूँढकर बिना मौजूदा कार्यक्षमता तोड़े ठीक कर पाते हैं या नहीं। स्कोरिंग पूरी तरह प्रोग्रामैटिक और निर्धारित है; कार्यों को LLM जज पैनलों से चुना गया और हाथ से जाँचा गया, और एक सुरक्षित सेट तथा rl-environment टैग रक्षात्मक एजेंटों के प्रशिक्षण में मदद करते हैं। Gemini 4 Argon 67.8% pass@1 (pass@4 81.0%, 3.92 डॉलर प्रति रन) के साथ आगे है, Claude Opus 5.5 67.3% (1.83 डॉलर) और DeepSeek V4.1 Flash 57.0% पर सिर्फ़ 0.04 डॉलर में। 95 कार्य कम से कम एक मॉडल हल करता है, फिर भी अग्रणी मॉडल 19% में विफल रहते हैं। 3 नवंबर 2026 को प्रकाशित।
आधिकारिक लेख पढ़ें AnnuIA प्रोफ़ाइल
यह सारांश AnnuIA ने Hugging Face के आधिकारिक पृष्ठ के आधार पर अपने शब्दों में लिखा है। सामग्री और अधिकार प्रकाशक के हैं: कृपया मूल लेख पढ़ें।