CWE-bench v2: تغطية وجودة وشفافية أكبر
تنشر Hugging Face الإصدار CWE-bench v2 مقدَّماً بتغطية أوسع وجودة أعلى وشفافية أكبر. نُشرت المقالة في 3 نوفمبر 2026.
ما يقوله المقال
CWE-bench v2 مجموعة عامة من 100 مهمة تغطي 91 نوعاً من CWE، تختبر قدرة وكلاء الذكاء الاصطناعي على إيجاد الثغرات الأمنية وإصلاحها في مستودعات مفتوحة المصدر حقيقية دون كسر الوظائف القائمة. التقييم برمجي بالكامل وحتمي، واختيرت المهام عبر لجان قضاة من نماذج لغوية ثم روجعت يدوياً، وتدعم مجموعة محجوبة ووسوم rl-environment تدريب وكلاء دفاعيين. يتصدر Gemini 4 Argon بنسبة 67.8% في pass@1 (و81.0% في pass@4 بتكلفة 3.92 دولار للتشغيل)، ويبلغ Claude Opus 5.5 نسبة 67.3% (1.83 دولار)، وDeepSeek V4.1 Flash نسبة 57.0% بتكلفة 0.04 دولار. يحل 95 مهمة نموذج واحد على الأقل، لكن المتصدرين يفشلون في 19% منها. نُشر في 3 نوفمبر 2026.
اقرأ المقال الرسمي بطاقة AnnuIA
ملخص كتبته AnnuIA بكلماتها الخاصة اعتمادًا على الصفحة الرسمية لـ Hugging Face. المحتوى والحقوق تعود إلى الناشر، يُرجى قراءة المقال الأصلي.