Es klingt nach einer guten Nachricht: Laut einer Prognose des Marktforschungsunternehmens Gartner werden die Token-Kosten für große Sprachmodelle bis 2030 um 95 Prozent sinken. Doch das Dilemma liegt im Detail.
Gleichzeitig sollen sich die sogenannten Inferenzkosten für agentenbasierte Workflows in den nächsten zwei Jahren mehr als verfünffachen. Gartner bezeichnet dieses Phänomen als "Inferenzparadoxon".
"Das Innovationstempo überholt die Kostenkurve", schreibt Computerwoche unter Berufung auf die Gartner-Analysten Will Sommer und Sabine Zimmerhansl. "Der Markt unterliegt einer Illusion sinkender Kosten."
Der Grund für die Kostenexplosion: Moderne KI-Agenten sind weit komplexer als einfache Chatbots. Während ein Chatbot nur eine Anfrage liest und schnell eine Antwort liefert, müssen Agenten nachdenken, Fragen stellen und sich anpassen, wenn etwas schiefgeht.
Das hat seinen Preis. Fortschrittliche KI-Agenten können bei einer einzelnen Aufgabe bereits bis zu 150-mal mehr kosten als einfache Chatbots. Sie benötigen fünf- bis dreißigmal mehr Token, um vergleichbare Aufgaben zu bewältigen.
"Stellen Sie sich vor, wie die Kosten explodieren, wenn Hunderte Agenten eingesetzt werden, die jeweils Dutzende oder Hunderte von Aufgaben pro Stunde erledigen können", warnen die Analysten.
Gartner empfiehlt Unternehmen mehrere Strategien zur Kostenkontrolle. Beim sogenannten "Inference Tiering" werden Anfragen automatisch an das jeweils kosteneffizienteste Modell weitergeleitet.
Statt pauschaler Gebühren sollten gestaffelte Tarife genutzt werden, die nach dem tatsächlichen Bedarf skalieren. Außerdem raten die Experten, jede neue Modellversion wie ein "neues Auto" zu behandeln, das bereits am ersten Tag an Wert verliert.
Ein positiver ROI sei weiterhin erreichbar, betont Gartner. Wer allerdings pauschal auf autonome KI-Agenten setzt, riskiere massiv höhere und schwer kontrollierbare Kosten.
