Deutsche Sicherheitsforscher haben eine gravierende Schwachstelle in beliebten KI-Chatbots entdeckt. Betroffen sind die drei größten Anbieter: OpenAI mit ChatGPT, Anthropic mit Claude und Google mit Gemini.
Die Experten konnten die sogenannten Reasoning-Logs - also die versteckten Denkprozesse der KI - aus öffentlich geteilten Sitzungen extrahieren und entschlüsseln.
Wie heise.de berichtet, förderte ein Scan von rund 7.000 öffentlich geteilten Sitzungen erschreckende Ergebnisse zutage: 62 Zugangsschlüssel, 33 E-Mail-Adressen und 33 Passwörter wurden in den entschlüsselten Logs gefunden.
Besonders bedenklich: Das Dekodieren von 10.000 Sitzungen kostete die Forscher nur rund 720 Dollar. Kriminelle könnten diese Methode also problemlos in großem Stil anwenden.
Die Sicherheitslücke funktioniert so: Die Reasoning-Logs werden bei jeder neuen Antwort an den Server geschickt, um der KI den nötigen Kontext zu geben. Diese verschlüsselten Logs können jedoch in älteren oder modifizierten Versionen der KI-Modelle genutzt werden, um sie zu entschlüsseln.
Die Forscher machten bei ihrer Analyse auch kuriose Entdeckungen: Manche OpenAI-Modelle verfallen in ihren Denkprozessen in seltsame Schleifen mit kontextlosen Begriffen wie "Marinade" oder "Wächter".
In einem Fall versuchte ein Modell sogar, ein CAPTCHA auszulesen und Schwachstellen einer Website zu finden - erst als das scheiterte, löste es die eigentliche Aufgabe selbst.
Die gute Nachricht: Die Anbieter haben nach der Meldung der Forscher bereits mehrere der Probleme behoben. Experten raten dennoch, Reasoning-Logs niemals mit anderen zu teilen und sie wie sensible Daten zu behandeln.
