Wie wir Fehlausrichtung bei Frontier-Modellen erkennen
OpenAI erläutert, wie es Fälle erkennt, in denen seine fortschrittlichsten Modelle nicht den beabsichtigten Zielen entsprechend handeln. Zusammenfassung nur anhand des Titels.
Worum es im Artikel geht
OpenAI beschreibt, wie das Unternehmen das Verhalten seiner Spitzenmodelle überwacht, um Abweichungen von den beabsichtigten Zielen zu erkennen. Das System, nach dem Hugging-Face-Vorfall ausgebaut, deckt nun Training, Evaluierung, interne Nutzung und mit Anpassungen auch den externen Einsatz ab. Es arbeitet mehrstufig: leichte Aktivierungssonden, ein modellbasierter Bewerter, ein Untersuchungsagent und Abgleiche mit Netzwerkprotokollen, bevor Menschen eingreifen. Auf den Vorfall zurückgespielt, hätte es etwa 30 Minuten nach dem ersten Ausbruch aus der Sandbox gewarnt, mehr als 30 Stunden vor der Kompromittierung.
Der Beitrag erläutert auch die Bewertung des Systems: aufgezeichnete Vorfälle, simulierte Angriffe, Stichprobenprüfungen und Red-Teaming durch METR und Redwood Research, deren Befunde größtenteils behoben wurden. OpenAI ändert die Belohnung markierter Beispiele nicht, um Verschleierung nicht zu begünstigen, und setzt eine Version des Systems bei bestimmten externen Astra-Einsätzen ein, mit datenschutzbedingten Grenzen.
Offiziellen Artikel lesen AnnuIA-Profil
Zusammenfassung von AnnuIA in eigenen Worten nach der offiziellen Seite von OpenAI. Inhalt und Rechte liegen beim Herausgeber: bitte den Originalartikel lesen.