CWE-bench v2 : plus de couverture, de qualité et de transparence
Hugging Face publie CWE-bench v2, présenté avec une couverture élargie, une meilleure qualité et plus de transparence. L’article a été publié le 3 novembre 2026.
Ce que dit l'article
CWE-bench v2 est un jeu public de 100 tâches couvrant 91 CWE, qui teste si des agents IA savent trouver et corriger des failles de sécurité dans de vrais dépôts open source sans casser les fonctionnalités existantes. La notation est entièrement programmatique et déterministe, et les tâches ont été sélectionnées par des panels de juges LLM puis relues à la main ; un jeu réservé et des étiquettes rl-environment servent à entraîner des agents défensifs. Gemini 4 Argon mène avec 67,8 % en pass@1 (81,0 % en pass@4, 3,92 $ par essai), Claude Opus 5.5 atteint 67,3 % (1,83 $) et DeepSeek V4.1 Flash 57,0 % pour 0,04 $. 95 tâches sont résolues par au moins un modèle, mais les leaders échouent encore sur 19 % du jeu. Publié le 3 novembre 2026.
Lire l'article officiel Fiche AnnuIA
Résumé rédigé par AnnuIA avec ses propres mots, d'après la page officielle de Hugging Face. Le contenu et les droits appartiennent à l'éditeur : consultez l'article d'origine.
Autres annonces de Hugging Face
- Nouveaux modèles ouverts NVIDIA Cosmos 3 pour la simulation interactive de mondes
- Un regard approfondi sur Phonon TTS : une synthèse vocale locale de haute qualité en tête des benchmarks
- Dharma Field Extractor : un document en entrée, des champs structurés en JSON en sortie
- Transformers Model Integration Contracts