Prognose: Inferenzkosten für KI-Agenten verfünffachen sich bis 2028

Auch bei sinkenden Preisen für KI-Modelle erwarten die Marktforscher von Gartner deutlich höhere Kosten für die Inferenz agentischer KI. Bis 2028 sagen sie eine Verfünffachung pro agenten-basiertem Workflow voraus. Grund dafür sei ein „Inferenz-Paradox“: Mit sinkenden Preisen sind laut Gartner nun auch komplexere KI-Workflows wirtschaftlich möglich. Und wenn Unternehmen diese Möglichkeit nutzten, treibe das den Tokenverbrauch hoch und sorge für steigende Gesamtkosten. Aktuell stiegen die KI-Fähigkeiten deutlich schneller an, als die Preise fallen können.

„Die harten wirtschaftlichen Realitäten des Inferenzparadoxons lassen sich anhand der Unterschiede zwischen einem einfachen Chatbot und einem KI-Agenten veranschaulichen“, erklärte Will Sommer, Senior Director Analyst bei Gartner. „Während ein einfacher Chatbot eine Anfrage lesen und interpretieren und schnell mit einer probabilistisch plausiblen Antwort reagieren muss, muss ein KI-Agent ständig Schlussfolgerungen ziehen, verhandeln und sich selbst hinterfragen.“ Je mehr Aufgaben bei der agentischen KI anfallen, umso teurer werde es dann.

Einen klaren, einfachen Weg zu einem höheren und planbaren Mehrwert sieht man bei Gartner in dem Szenario nicht. „Produktverantwortliche können nicht darauf setzen, dass eine effizientere Token-Ökonomie die KI-Kosten nachhaltig senkt“, sagt Gartner-Analyst Sommer. „Jede neue Generation von KI-Funktionen benötigt mehr und häufig auch teurere Token. Ein verlässliches und wirtschaftlich tragfähiges Kostenmodell pro Einheit ist derzeit nicht in Sicht. Wer wettbewerbsfähige KI-Produkte entwickeln will, muss komplexe Ökosysteme aus mehreren Modellen aufbauen und dauerhaft betreiben.“

Sofern Unternehmen nicht mit exponentiell höheren Erträgen im Vergleich zum grundlegenden KI-Einsatz rechnen, müssten sie für Agenten erheblichen Aufwand betreiben. Es brauche hochoptimierte Inferenztiering-, Routing- und Orchestrierungsverfahren, um auch komplexe Aufgaben auf kosteneffizientere Modelle zu verteilen. Ohne ein solches Ökosystem könne man beim Rückgriff auf autonom agierende KI schnell „unbegrenzte Kosten“ riskieren.

Dass Unternehmen zahlreiche Experimente und Pilotprojekte mit KI-Agenten auch wieder einstampfen, hat Gartner bereits vergangenes Jahr prognostiziert. Demnach sollen bis 2027 über 40 Prozent aller KI-Agenten, die geplant sind oder schon zum Einsatz kommen, eingestellt werden. Das habe drei Gründe: steigende Kosten, fehlender Ertrag für die Unternehmen und unzureichende Risikokontrolle.

Prognose: Inferenzkosten für KI-Agenten verfünffachen sich bis 2028

Trotz sinkender Preise für KI-Modelle erwartet Gartner einen deutlichen Anstieg der Inferenzkosten für KI-Agenten. Bis 2028 sollen sie sich verfünffachen.