CWE-bench v2: больше охвата, качества и прозрачности
Hugging Face публикует CWE-bench v2, заявленный как более широкий по охвату, качественнее и прозрачнее. Запись опубликована 3 ноября 2026 года.
О чём статья
CWE-bench v2 — публичный набор из 100 задач по 91 CWE, проверяющий, умеют ли ИИ-агенты находить и исправлять уязвимости в реальных open-source репозиториях, не ломая существующий функционал. Оценка полностью программная и детерминированная, задачи отобраны панелями LLM-судей и проверены вручную; закрытый набор и метки rl-environment помогают обучать защитных агентов. Лидирует Gemini 4 Argon — 67,8 % pass@1 (81,0 % pass@4, 3,92 $ за прогон), Claude Opus 5.5 — 67,3 % (1,83 $), DeepSeek V4.1 Flash — 57,0 % за 0,04 $. 95 задач решает хотя бы одна модель, но лидеры всё ещё проваливают 19 % набора. Опубликовано 3 ноября 2026 года.
Читать официальную статью Карточка AnnuIA
Краткое изложение написано AnnuIA своими словами по официальной странице Hugging Face. Содержание и права принадлежат издателю: читайте оригинальную статью.