CWE-bench v2: mais cobertura, qualidade e transparência
A Hugging Face publica o CWE-bench v2, apresentado com maior cobertura, mais qualidade e mais transparência. A publicação saiu em 3 de novembro de 2026.
O que diz o artigo
O CWE-bench v2 é um conjunto público de 100 tarefas que cobre 91 CWEs e testa se agentes de IA conseguem encontrar e corrigir falhas de segurança em repositórios open source reais sem quebrar a funcionalidade existente. A pontuação é totalmente programática e determinística, e as tarefas foram selecionadas com painéis de juízes LLM e revistas à mão; um conjunto reservado e etiquetas rl-environment apoiam o treino de agentes defensivos. O Gemini 4 Argon lidera com 67,8 % em pass@1 (81,0 % em pass@4, 3,92 $ por execução), o Claude Opus 5.5 chega a 67,3 % (1,83 $) e o DeepSeek V4.1 Flash a 57,0 % por 0,04 $. 95 tarefas são resolvidas por pelo menos um modelo, mas os líderes ainda falham 19 %. Publicado a 3 de novembro de 2026.
Ler o artigo oficial Ficha AnnuIA
Resumo escrito pela AnnuIA com suas próprias palavras, com base na página oficial de Hugging Face. O conteúdo e os direitos pertencem ao editor: consulte o artigo original.
Mais anúncios de Hugging Face
- Novos modelos abertos NVIDIA Cosmos 3 para simulação interativa de mundos
- Um olhar detalhado sobre o Phonon TTS: fala de alta qualidade no dispositivo que lidera os benchmarks
- Dharma Field Extractor: qualquer documento de entrada, campos estruturados em JSON na saída
- Transformers Model Integration Contracts