Können wir LLMs vertrauen, wenn sie beurteilen, ob eine Forschungsidee neu ist?
Ai2 veröffentlicht eine Studie, einen Benchmark und Code, die zeigen, dass LLMs bei der Bewertung der Neuheit von Forschungsideen instabile Urteile abgeben: Kleine Prompt-Änderungen verschoben die Genauigkeit in einem Test um mehr als 50 Punkte. Abruf und zusätzliches Schlussfolgern verbesserten die Ergebnisse nicht verlässlich.
Worum es im Artikel geht
Am 27. Oktober 2026 veröffentlichte Ai2 „Old Ideas, Novel Problems“, eine Studie dazu, wie zuverlässig LLMs die Neuheit von Forschungsideen beurteilen. Enthalten sind ein Paper, ein Benchmark, Daten, Code und eine automatisierte Pipeline zum Erstellen neuer Evaluationssets. Ai2 weist darauf hin, dass solche Neuheits-Juroren oft nur an menschlichen Arbeiten validiert werden, obwohl sie zunehmend KI-generierte Ideen bewerten.
Der Benchmark stützt sich auf ICLR-2026-Gutachten, mit 154 menschlichen Ideen hoher und 145 geringerer Neuheit. Bei sechs getesteten Juroren verändern kleine Prompt-Änderungen die Urteile stark: Die Genauigkeit von GPT-5.4 auf gemischten Paaren aus menschlichen und generierten Ideen sank von 93,5 % auf 40,9 %. Mehr Suche und Reasoning halfen nicht zuverlässig, und zwei spezialisierte Bewerter schnitten schlechter ab als ein einfacher Prompt mit Claude Opus 4.6. Ai2 folgert, dass automatische Neuheitsbewertung ein offenes Problem bleibt; Produkte ändern sich nicht.
Offiziellen Artikel lesen AnnuIA-Profil
Zusammenfassung von AnnuIA in eigenen Worten nach der offiziellen Seite von Hugging Face. Inhalt und Rechte liegen beim Herausgeber: bitte den Originalartikel lesen.