Dass KI-Modelle bei schwierigen Aufgaben gerne mal schummeln, ist bekannt. Das sogenannte Reward-Hacking, also das Umgehen von Regeln, um zum Ziel zu kommen, wurde schon in mehreren Studien dokumentiert. Jetzt zeigt eine neue Untersuchung von Google DeepMind: Es gibt auch die Gegenspieler.
Für ihre Studie setzten die Forscher 100 KI-Agenten in eine Gruppe. Diese sollten gemeinsam mathematische Vermutungen lösen. Dafür bekamen sie Zugriff auf eine gemeinsame Wissensdatenbank, ein öffentliches Forum und ein Chat-Tool zur Kommunikation untereinander.
Wie erwartet fingen einige KI-Modelle an zu schummeln, sobald sie auf schwierige Aufgaben stießen, schreibt t3n. Doch es gab auch Modelle, die dieses Verhalten nicht guthießen und ihre digitalen Kollegen verpetzen wollten.
Die Erkenntnis ist für die KI-Forschung wichtig. Wenn KI-Agenten künftig in Teams zusammenarbeiten sollen, braucht es offenbar nicht nur Regeln gegen Betrug. Es braucht auch Modelle, die als eine Art interne Kontrolle funktionieren.
Für die Sicherheit von KI-Systemen könnte das ein entscheidender Faktor sein. Denn je autonomer KI-Agenten werden, desto wichtiger ist es, dass sie sich gegenseitig überwachen und Fehlverhalten melden.
