Eigentlich hatte Andrew seinem digitalen Assistenten eine ziemlich harmlose Aufgabe gegeben: Die KI sollte dem Australier einen Platz in einem begehrten Morgenkurs seines Fitnessstudios sichern. Doch der Auftrag nahm eine unerwartete Wendung.
Andrew setzte dafür OpenClaw ein. Die Software wurde vom österreichischen Entwickler Peter Steinberger geschaffen – "Heute" berichtete. Sie besitzt kein eigenes KI-Modell, sondern kann auf Modelle anderer Anbieter zugreifen. Bei Andrew lief OpenClaw mit Claude von Anthropic und konnte Aufgaben weitgehend selbstständig erledigen.
Andrew ist dabei selbst kein KI-Neuling. Er arbeitet bei einem australischen Unternehmen, das KI-Produkte an Firmen verkauft. Trotzdem überraschte ihn, wie weit sein digitaler Assistent bei einem simplen Auftrag ging.
Zunächst entdeckte der KI-Assistent offenbar eine Schwachstelle in der Buchungssoftware des Fitnessstudios. Dadurch konnte er einen Kurs für Andrew bereits mehrere Wochen im Voraus reservieren – deutlich früher, als dies eigentlich vorgesehen war.
Doch damit war die Sache nicht erledigt. Bei einem unmittelbar bevorstehenden und bereits ausgebuchten Kurs hätte Andrew lediglich Platz vier auf der Warteliste bekommen. Der Australier fragte seinen KI-Assistenten daraufhin, ob es irgendeine Möglichkeit gebe, ihn auf Platz eins zu setzen. Einen Auftrag, das System zu hacken oder andere Kunden zu entfernen, gab er ihm nicht.
OpenClaw suchte selbst nach einem Weg – und fand offenbar eine weitere Sicherheitslücke. Die Schnittstelle der Buchungssoftware prüfte demnach nicht ausreichend, ob ein Nutzer überhaupt die Reservierung einer anderen Person löschen durfte.
Die KI testete die Schwachstelle kurzerhand an dem Kunden auf Platz eins. Dessen Reservierung wurde gelöscht, Andrew rückte dadurch auf der Warteliste nach vorne. Damit hatte der KI-Agent nicht nur eine Sicherheitslücke entdeckt, sondern sie auch eigenständig ausgenutzt, um das vorgegebene Ziel zu erreichen.
Als Andrew bemerkte, was passiert war, wollte er den Eingriff sofort rückgängig machen lassen. Doch dafür war es zu spät. "Schlechte Nachrichten", teilte ihm der KI-Assistent laut Bericht mit. Die gelöschte Person könne nicht wieder hinzugefügt werden und müsse sich selbst erneut anmelden.
Andrew informierte daraufhin das Unternehmen hinter der Buchungssoftware über die Sicherheitslücke. Kurios: Auch diese Aufgabe überließ er seinem KI-Agenten. OpenClaw verfasste selbst die Nachricht, mit der der Anbieter über jene Schwachstelle informiert wurde, die die Software zuvor ausgenutzt hatte.
Der Vorfall gilt laut dem Bericht als erster bekannter Fall in Australien, bei dem ein autonomer KI-Agent selbstständig eine Sicherheitslücke ausnutzte, um einen Auftrag seines Nutzers zu erfüllen.
Der Fall zeigt damit ein grundsätzliches Problem solcher Systeme: Nutzer geben einer KI zwar ein Ziel vor, haben aber nicht zwangsläufig Kontrolle darüber, mit welchen Mitteln der Agent dieses erreicht.
KI-Experte Bill Simpson-Young vom australischen Gradient Institute warnt vor genau diesem Risiko. Je autonomer solche Systeme werden, desto größer werde auch die Wahrscheinlichkeit, dass sie unerwarteten Schaden anrichten, erklärte er dem australischen Sender ABC News.
Dazu kommt die rechtliche Frage: Wer trägt die Verantwortung, wenn ein KI-Agent eigenmächtig Grenzen überschreitet? Die Software selbst kann jedenfalls nicht wie eine Person haftbar gemacht werden.
Andrew wollte eigentlich nur einen Platz im Fitnesskurs. Am Ende musste sein KI-Agent jene Sicherheitslücke melden, die er zuvor selbst ausgenutzt hatte.
