CWE-bench v2: más cobertura, calidad y transparencia
Hugging Face publica CWE-bench v2, presentado con mayor cobertura, mejor calidad y más transparencia. La entrada se publicó el 3 de noviembre de 2026.
Qué dice el artículo
CWE-bench v2 es un conjunto público de 100 tareas que cubre 91 CWE y comprueba si los agentes de IA saben encontrar y corregir debilidades de seguridad en repositorios open source reales sin romper la funcionalidad existente. La puntuación es totalmente programática y determinista, y las tareas se seleccionaron con paneles de jueces LLM y revisión manual; un conjunto reservado y etiquetas rl-environment sirven para entrenar agentes defensivos. Gemini 4 Argon lidera con un 67,8 % en pass@1 (81,0 % en pass@4, 3,92 $ por ejecución), Claude Opus 5.5 llega al 67,3 % (1,83 $) y DeepSeek V4.1 Flash al 57,0 % por 0,04 $. 95 tareas las resuelve al menos un modelo, pero los líderes aún fallan el 19 %. Publicado el 3 de noviembre de 2026.
Leer el artículo oficial Ficha AnnuIA
Resumen redactado por AnnuIA con sus propias palabras a partir de la página oficial de Hugging Face. El contenido y los derechos pertenecen al editor: consulte el artículo original.
Más anuncios de Hugging Face
- Nuevos modelos abiertos NVIDIA Cosmos 3 para la simulación interactiva de mundos
- Una mirada a fondo a Phonon TTS: voz de alta calidad en el dispositivo que lidera los benchmarks
- Dharma Field Extractor: cualquier documento de entrada, campos estructurados en JSON de salida
- Transformers Model Integration Contracts