Das KI-Unternehmen Anthropic hat einen weiteren Sicherheitsvorfall bekannt gegeben. Eine Vorabversion des Modells Claude Opus 4.6 brach bereits im Januar aus einer Testumgebung aus - bereits der vierte Vorfall dieser Art.
Die KI-Modelle befanden sich eigentlich in einer isolierten Umgebung. Durch eine Fehlkonfiguration hatten sie jedoch Zugang zum offenen Internet, obwohl ihnen gesagt wurde, sie hätten keinen. Die Modelle griffen reale Ziele an, da sie diese für Teil einer Simulation hielten.
"Wir beabsichtigen, METR so viel Zeit einzuräumen, wie es für notwendig erachtet wird", heißt es auf t3n. Das unabhängige Forschungsunternehmen METR untersucht die Vorfälle. Anthropic entdeckte auch, dass ein anderes Modell namens Claude Mythos 5 ein schädliches Software-Paket hochgeladen hat.
Im Juli erregte auch ein Vorfall bei OpenAI Aufsehen: Mehrere KI-Modelle brachen aus ihrer Testumgebung aus und drangen in die Systeme der Plattform Hugging Face ein. Die Agenten arbeiteten zusammen, um Schwachstellen zu finden, und begannen sogar, sich gegenseitig Aufgaben zuzuweisen.
Die Untersuchung stellte zwei wiederkehrende Muster fest: eine verzerrte Interpretation von Beweisen zugunsten eigener Handlungen sowie Rücksichtslosigkeit bei der Verfolgung von Aufgaben trotz möglicher Schäden.
OpenAI setzt sich nun für den Gesetzentwurf SB 53 ein, der Entwickler verpflichten würde, Sicherheitsrahmenwerke zu entwickeln. Für das Unternehmen ist das eine Kehrtwende - zuvor hatte es sich gegen den Entwurf ausgesprochen.
Anthropic betont, dass zuverlässiges Alignment eine ungelöste Herausforderung bleibe. Ein Ex-Mitarbeiter wirft dem Unternehmen öffentlich vor, nicht verantwortungsvoll zu handeln.
