CWE-bench v2: mehr Abdeckung, Qualität und Transparenz
Hugging Face veröffentlicht CWE-bench v2, vorgestellt mit größerer Abdeckung, höherer Qualität und mehr Transparenz. Der Beitrag erschien am 3. November 2026.
Worum es im Artikel geht
CWE-bench v2 ist ein öffentlicher Satz aus 100 Aufgaben zu 91 CWEs, der prüft, ob KI-Agenten Sicherheitslücken in echten Open-Source-Repositories finden und beheben können, ohne bestehende Funktionen zu beschädigen. Die Bewertung ist vollständig programmatisch und deterministisch; die Aufgaben wurden mit LLM-Juroren-Panels kuratiert und von Hand geprüft, ein zurückgehaltener Satz und rl-environment-Tags unterstützen das Training defensiver Agenten. Gemini 4 Argon führt mit 67,8 % pass@1 (81,0 % pass@4, 3,92 $ pro Rollout), Claude Opus 5.5 erreicht 67,3 % (1,83 $) und DeepSeek V4.1 Flash 57,0 % für 0,04 $. 95 Aufgaben löst mindestens ein Modell, doch die Spitzenreiter scheitern weiter an 19 %. Veröffentlicht am 3. November 2026.
Offiziellen Artikel lesen AnnuIA-Profil
Zusammenfassung von AnnuIA in eigenen Worten nach der offiziellen Seite von Hugging Face. Inhalt und Rechte liegen beim Herausgeber: bitte den Originalartikel lesen.