CWE-bench v2：より広いカバレッジ、品質、透明性
Hugging Faceは、カバレッジの拡大、品質の向上、透明性の強化をうたうCWE-bench v2を公開しました。記事は2026年11月3日に掲載されました。
記事の内容
CWE-bench v2は、91種類のCWEをカバーする100件の公開タスクで、AIエージェントが実在のオープンソースリポジトリのセキュリティ上の弱点を、既存機能を壊さずに見つけて修正できるかを測ります。採点は完全にプログラム的で決定的であり、タスクはLLM審査パネルで選定した上で人手で確認されています。非公開セットやrl-environmentタグは防御エージェントの訓練に使えます。Gemini 4 Argonがpass@1で67.8%（pass@4で81.0%、1回3.92ドル）で首位、Claude Opus 5.5が67.3%（1.83ドル）、DeepSeek V4.1 Flashが57.0%（0.04ドル）です。95件は少なくとも1つのモデルが解決しましたが、上位モデルでも19%は解けません。2026年11月3日公開。
この要約は、Hugging Face の公式ページをもとに AnnuIA が自分の言葉で作成しました。内容および権利は発行元に帰属します。元の記事をご覧ください。