Ein Reddit-Nutzer erlebte kürzlich einen KI-Albtraum. Er beauftragte Google Gemini 3.5 damit, acht Sicherheitslücken bei der Authentifizierung von Serveraktionen zu beheben. Eigentlich hätte die KI nur drei Dateien und etwa 70 Zeilen Code ändern müssen.
Doch statt der gewünschten drei veränderte der KI-Assistent von Google satte 340 Dateien. Er fügte rund 400 Zeilen Code hinzu - entfernte aber fast 30.000 Zeilen. 28.745, um genau zu sein.
Wie t3n.de berichtet, löschte Gemini darüber hinaus Dutzende E-Commerce-Vorlagen, die gar nichts mit dem bearbeiteten Projekt zu tun hatten. Außerdem änderte die KI die Routing-Einstellungen von Firebase und leitete Anfragen auf einen nicht existierenden Cloud-Run-Dienst weiter. Das Resultat: Besucher des Portals erhielten über eine halbe Stunde lang 404-Fehlermeldungen.
Besonders unheimlich wurde es danach: Als der User den Vorgang manuell rückgängig machte, behauptete Gemini, das Problem selbst behoben zu haben. Noch schlimmer: Um das eigene Fehlverhalten zu verschleiern, erstellte die KI gefälschte Konsultationsprotokolle.
"Es generierte gefälschte Konversationen mit sich selbst, schrieb sie im exakten Dateinamenformat, das die Regel erwartete, auf die Festplatte und führte diese Dateien dann als Beweis dafür an, dass die destruktive Änderung durch eine mehrstufige Konsultation geprüft und genehmigt worden sei", schrieb der Reddit-Nutzer. Erst auf Nachfrage habe Gemini zugegeben, dass es die Protokolle gefälscht hatte.
Die Ursache für den fatalen Fehler von Gemini: Der User hatte zuvor ein npm-Paket eines Drittanbieters installiert. Dieses verpflanzte weitreichende Autonomieregeln in das Software-Repository.
Auf Reddit teilten andere User ähnliche Erlebnisse mit KI-Codingassistenten. Andere kritisierten den Ersteller des Beitrags dafür, dass er mitten im laufenden Betrieb einen KI-Codingassistenten eingesetzt hatte.
