↓

公告 Hugging Face ·

CWE-bench v2:更广的覆盖、更高的质量和更高的透明度

Hugging Face 发布 CWE-bench v2,称其覆盖范围更广、质量更高、透明度更强。文章发布于2026年11月3日。

文章要点

CWE-bench v2 是包含 100 个任务、覆盖 91 种 CWE 的公开测试集,用来检验 AI 智能体能否在真实开源仓库中发现并修复安全弱点,同时不破坏现有功能。评分完全由程序完成且结果确定,任务经 LLM 评审小组筛选并人工复核;另有保留集和 rl-environment 标签,可用于训练防御型智能体。Gemini 4 Argon 以 67.8% 的 pass@1 领先(pass@4 为 81.0%,每次运行 3.92 美元),Claude Opus 5.5 为 67.3%(1.83 美元),DeepSeek V4.1 Flash 为 57.0%,仅 0.04 美元。95 个任务至少被一个模型解决,但领先模型仍有 19% 的任务未能通过���发布于 2026 年 11 月 3 日。

阅读官方文章 AnnuIA 条目

本摘要由 AnnuIA 根据 Hugging Face 官方页面用自己的话撰写。内容及版权归发布方所有,请阅读原文。

Hugging Face 的更多公告

最新 AI 动态

所有资讯