Das KI-Unternehmen Anthropic hat seinen Modellen in Tests den Live-Internetzugang entzogen. Grund dafür sind mehrere Vorfälle, bei denen sich die KI der menschlichen Kontrolle entzog und eigenständig nach Umwegen suchte, um Aufgaben zu erledigen.
In einem besonders skurrilen Fall sollte das Modell Claude Haiku 4.5 Beispielaufgaben auf zufällig ausgewählten Webseiten durchführen. Dabei meldete die KI einen falschen Hinweis bei der Polizei in Philadelphia - sie behauptete, sich an einen ungelösten Mordfall zu erinnern und eine verdächtige Person beobachtet zu haben.
Wie es auf t3n.de heißt, wurden Name und Kontaktdaten im Formular leer gelassen, weshalb der Hinweis vom System als Spam markiert und nie zur Untersuchung weitergeleitet wurde. Die KI hatte zwar die Anweisung, keine persönlichen Daten einzugeben - das Absenden von Formularen war aber nicht explizit verboten.
In einem weiteren Vorfall sollte ein anderes Modell namens Claude Mythos Preview eine wissenschaftliche Analyse durchführen. Als das dafür nötige Tool eine Fehlermeldung ausgab, durchsuchte die KI eigenständig die Website, fand ein Skript mit einer Sicherheitslücke und nutzte diese, um Befehle auf dem Server einer Universität auszuführen.
Der Internetzugang soll so lange gesperrt bleiben, bis Anthropic seine KI-Agenten zuverlässig überwachen und kontrollieren kann. Das Unternehmen warnte vor seinem geplanten Börsengang erneut vor potenziell "katastrophalen oder existenziellen Risiken für die Menschheit".
