Sprachmodelle wie ChatGPT präsentieren ihre Antworten oft mit großer Selbstsicherheit - auch wenn diese nicht stimmen. Das erschwert es Nutzern, deren Verlässlichkeit einzuschätzen. Doch neue Forschung zeigt: Die Modelle können ihre Unsicherheit selbst erkennen.
Forscher von Google DeepMind haben untersucht, wie KI-Modelle entscheiden, ob sie eine Antwort liefern. Dabei testeten sie GPT-4o, Gemma 3, Deepseek-V3 und weitere Modelle auf ihr internes Konfidenzniveau.
Wie es bei t3n heißt, wurde das Verfahren im Fachjournal Nature Machine Intelligence veröffentlicht. Die zentrale Erkenntnis: Sprachmodelle wenden bei einer Enthaltung einen impliziten Schwellenwert für ihr internes Vertrauen an.
Das Experiment lief in vier Phasen ab. Zuerst beantworteten die Modelle Multiple-Choice-Fragen ohne Enthaltungsoption. Dann bekamen sie die Möglichkeit, sich zu enthalten. In Phase drei setzten die Forscher die Technik Activation Steering ein, um vertrauensbezogene Aktivität zu verstärken oder zu unterdrücken.
Das Ergebnis war eindeutig: Wenn das interne Vertrauen niedrig war, verzichteten die Modelle eher auf eine Antwort. Das Verstärken oder Unterdrücken des Vertrauens führte zu einer entsprechenden Ab- oder Zunahme der Enthaltungen.
Laut den Forschern unterstreichen die Ergebnisse den Wert von Mechanismen, die Sprachmodelle daran hindern, Fragen zu beantworten, wenn ihr Konfidenzgrad zu niedrig ist. Das könnte das Risiko falscher Informationen verringern.
Gerade mit Blick auf autonome KI-Agenten sei diese Fähigkeit entscheidend. Denn autonome Systeme müssen ihre eigene Unsicherheit erkennen können, um keine falschen Entscheidungen zu treffen.
