Bereits mit neun Jahren schrieb Kamil Mańkowski (29) sein erstes eigenes Programm. Nun verhinderte der gebürtige Pole, der inzwischen in Wien lebt, wohl einen digitalen Flächenbrand und das in seiner Freizeit.
Beruflich ist der 29-Jährige beim österreichischen "Computer Emergency Response Team" (Cert) tätig. Ziel dabei ist es als Frühwarnsystem zu fungieren und vor Bedrohungen aus dem Netz zu warnen. Auch in seiner Freizeit beschäftigt sich Mańkowski ehrenamtlich mit Cybersicherheit. Auf der Plattform PyPI prüft er eine Stunde pro Tag eingehende Softwarebeiträge in der Computersprache Python. So auch am 18. Juli um die Mittagszeit herum.
Damals stieß Mańkowski auf ein neues Softwarepaket, wegen dem ihm ein eigens programmierter automatischer Scanner bereits eine Warnung zukommen ließ. Gegenüber dem "SPIEGEL" sagte der 29-Jährige, dass ihm sofort klar war, "dass es sich um ein Schadprogramm handelt".
Demnach soll die Software nach wichtigen Datenbanken gesucht, sich Zugriff verschafft und dann Daten ausgeleitet haben. Mańkowski schrieb einen Bericht aufgrund dessen der Inhalt nach nur 18 Minuten auf "Quarantäne" gestellt wurde. So konnte die Schadsoftware von niemandem mehr heruntergeladen werden.
Das Paket wurde von einem Nutzer namens "Skydev-mirror-7719" auf die Plattform gestellt. Dabei handelte es sich nicht um einen Menschen, sondern um das KI-Modell Mythos 5 des US-KI-Anbieters Anthropic. Demnach soll das KI-Modell ausgebrochen sein, wie Anthropic Wochen später bekanntgab.
Das Unternehmen sei "sehr besorgt" wegen des Vorfalles gewesen, hieß es in einem Blogpost. Durch ein über tausend-seitiges Transkript, welches dem "SPIEGEL" vorliegt, wird klar was Mańkowski an jenem Tag verhindern konnte. Eigentlich sollte die KI in einer geschützten Testumgebung ohne externen Netzzugang eine fiktionale Firma hacken. Der KI-Agent brach aber aus und griff aufs echte Internet zu.
Die KI bemerkte dies auch und kam zu dem Schluss, dass es "nicht okay" wäre, die Schadsoftware freizugeben. Dennoch registrierte sie E-Mail-Adressen und wollte einen nicht näher beschriebenen Anbieter hacken. SIM-Karten wollte die KI per Kreditkarte bezahlen und auf einer Plattform erstellte sie Nutzerkonten. Zum Schluss wurde das schadhafte Paket hochgeladen.
Zudem gab die KI der Schadsoftware einen Namen, der einer sehr gebräuchlichen Software zum Verwechseln ähnlich sah. So kam es auch zu 15 Downloads in nur kurzer Zeit. Unter den Opfern war auch ein Sicherheitsunternehmen. Die KI stahl Zugangsdaten und versuchte dann auf weitere Infrastruktur des Unternehmens zuzugreifen. Hätte Mańkowski nicht gehandelt, wären die Folgen noch schlimmer ausgefallen.
Auch der IT-Sicherheitsbeauftragte der Plattform PyPI, Mike Fiedler, würdigte die Rolle des Wieners. Ihm zufolge wäre das Schadpotenzial erheblich gewesen. Mańkowski selbst fordert, dass die Tests für KI-Modelle sicherer gemacht werden. "Dieser Wilde Westen muss aufhören", so der 29-Jährige.
Es war immerhin nicht der erste Fall bei dem KI-Agenten verrückt spielten. So sollen Anthropic-Modelle zur Entwicklung von Steuerungssystemen für ballistische Raketen im Jemen eingesetzt worden sein. Seitens des Konkurrenten OpenAI wurde ein Vorfall bestätigt, bei dem KI-Agenten im Mai die Open-Source-Plattform RubyGems attackiert haben sollen. Man überprüfe den Vorfall.
Erst am Wochenende ließ Anthropic-Chef Dario Amodei aufhorchen. Er kündigte an, die KI-Entwicklung zu drosseln. Dafür erhielt er Zuspruch von OpenAI-Boss Sam Altman, Elon Musk und dem Vorsitzenden von Googles KI-Tochter DeepMind, Demis Hassabis.
