Was kostet der Betrieb eines KI-Modells in der Produktion? (2026)

Kurze Antwort: Der Betrieb eines KI-Modells in der Produktion kostet so viel wie die GPU-Stunden, geteilt durch die Zahl der nützlichen Tokens, die Sie daraus gewinnen. Eine dedizierte GPU, die den Großteil des Tages ausgelastet ist, ist pro Token meist günstiger als eine API mit Abrechnung pro Token; eine GPU, die die meiste Zeit ungenutzt bleibt, ist es fast nie. Drei Größen bestimmen Ihre Rechnung: die benötigte GPU (bestimmt durch den Speicherbedarf des Modells), ihr Stundenpreis und ihre Auslastung.

Warum Inferenz heute der größere KI-Kostenblock ist

Jahrelang war das Training der teure Teil von KI. Das hat sich umgekehrt. Im August 2026 prognostizierte Gartner, dass die Ausgaben für KI-optimierte Cloud-Infrastruktur 2026 auf $42 Milliarden steigen werden, ein Plus von 96 %, und dass die Inferenz ($23,3 Milliarden) erstmals das Training ($19 Milliarden) überholen wird. Auf Inferenz sollen 2026 55 % und 2027 59 % dieser Ausgaben entfallen. Der Grund ist einfach: Ein Modell wird einmal trainiert, beantwortet aber in jeder Sekunde im Produktivbetrieb Anfragen, und agentische Workflows führen für jede Nutzeranfrage viele Modellaufrufe aus.

Was die Kosten für den Betrieb eines Modells tatsächlich bestimmt

1. Der Speicher, der die GPU bestimmt. Die Gewichte des Modells müssen in den GPU-Speicher passen, mit genug Platz für den KV-Cache, der den Kontext jeder Konversation enthält. Als Faustregel gilt: Parameter mal Bytes pro Parameter. Bei 16-Bit-Präzision sind das 2 Bytes pro Parameter, bei FP8 1 Byte, bei 4 Bit etwa ein halbes Byte.

• Ein 8B-Modell mit 16 Bit benötigt etwa 16 GB und passt daher auf eine NVIDIA L4 (24 GB).
• Ein 70B-Modell mit FP8 benötigt etwa 70 GB und passt daher auf eine RTX PRO 6000 (96 GB), mit Platz für Kontext.
• Ein 70B-Modell mit 16 Bit benötigt etwa 140 GB. Das ist für eine H200 (141 GB) zu knapp, sobald Kontext hinzukommt, passt aber bequem auf eine B300 (288 GB).
• Ein 405B-Modell mit FP8 benötigt etwa 405 GB und braucht daher zwei oder mehr B300.

2. Der Stundenpreis dieser GPU. Mehr Speicher kostet mehr pro Stunde. Die kleinste GPU zu wählen, auf die das Modell mit ausreichend Kontext passt, ist die größte einzelne Einsparung.

3. Durchsatz. Wie viele Tokens pro Sekunde die GPU über alle Nutzer hinweg gleichzeitig erzeugt. Serving-Software wie vLLM oder TensorRT-LLM bündelt viele Anfragen, sodass der Gesamtdurchsatz weit höher ist als die Geschwindigkeit, die ein einzelner Nutzer sieht.

4. Auslastung. Der Anteil der bezahlten Stunden, in denen die GPU nützliche Arbeit leistet. Hier versickert der Großteil der Budgets.

So berechnen Sie die Kosten pro Million Tokens

Die Formel lautet: Kosten pro Million Tokens = GPU-Stundenpreis / (Tokens pro Sekunde x 3.600) x 1.000.000 / Auslastung.

Ein Rechenbeispiel mit illustrativen Zahlen (kein OMC-Preis): Eine GPU für $2,00 pro Stunde, die über alle Nutzer hinweg 1.000 Tokens pro Sekunde erzeugt, produziert 3,6 Millionen Tokens pro Stunde. Bei voller Auslastung sind das etwa $0,56 pro Million Tokens. Bei 25 % Auslastung kostet derselbe Server etwa $2,22 pro Million Tokens, also das Vierfache, weil Sie auch die ungenutzten Stunden bezahlen. Im Dauerbetrieb kostet diese GPU etwa $1.460 im Monat (730 Stunden).

API oder eigene GPU: Wo die Gewinnschwelle liegt

Eine API mit Abrechnung pro Token hat keine Leerlaufkosten und ist daher die richtige Wahl für Prototypen, schwankenden Traffic und geringe Volumen. Eine dedizierte GPU hat feste monatliche Kosten und ist daher günstiger, sobald das Volumen hoch und gleichmäßig ist. Um Ihre Gewinnschwelle zu ermitteln, teilen Sie die monatlichen Kosten des GPU-Servers durch den API-Preis pro Million Tokens. Wenn Sie erwarten, monatlich mehr Tokens zu verarbeiten, ist Self-Hosting günstiger.

Die Kosten sind nicht der einzige Grund, warum Teams auf eigene GPUs umsteigen. Mit einem dedizierten Server verlassen Prompts und Daten nie Ihre Umgebung, was für regulierte Branchen und die DSGVO wichtig ist. Außerdem können Sie feinabgestimmte oder Open-Weight-Modelle betreiben, die APIs nicht anbieten, und die Latenz bleibt vorhersehbar, weil niemand sonst die Karte mitnutzt.

Die Kosten, die gern vergessen werden

• Ungenutzte Kapazität: GPUs, die für Spitzenzeiten reserviert sind und nachts brachliegen.
• Der Rest des Stacks: CPU-Server für die Anwendung, eine Vektordatenbank für RAG, Load Balancer und Storage.
• Datenübertragung: Manche Clouds berechnen ausgehenden Traffic teuer. Bei OMC Cloud enthalten monatliche Server 5.000 GB Traffic, zusätzlicher Traffic kostet $0,01 pro GB.
• Backups und Wiederherstellung für Modelldateien, Fine-Tuning-Daten und Konfiguration.
• Engineering-Zeit für Bereitstellung, Überwachung und Aktualisierung des Serving-Stacks.

Fünf Wege, die Inferenzkosten zu senken

• Quantisieren: FP8- oder 4-Bit-Versionen eines Modells halbieren oder vierteln den Speicherbedarf, oft mit geringem Qualitätsverlust, und ermöglichen so eine kleinere GPU.
• Die GPU richtig dimensionieren: Wählen Sie die Karte passend zu Modell und Kontextlänge, statt standardmäßig die größte zu nehmen.
• Anfragen bündeln mit einer dafür gebauten Serving-Engine, um die Tokens pro Sekunde zu erhöhen.
• Ein kleineres Modell nutzen, wo es ausreicht, und nur die schwierigen Anfragen an das große weiterleiten.
• Lastspitzen stündlich und die Grundlast monatlich bezahlen, damit Sie nicht den ganzen Monat für ungenutzte Spitzenkapazität zahlen.

Inferenz auf OMC Cloud betreiben

OMC Cloud vermietet dedizierte NVIDIA-GPUs mit vollem Passthrough, stündlich oder monatlich abgerechnet: L4 (24 GB), L40S (48 GB), RTX PRO 6000 (96 GB GDDR7), H100 (80 GB), H200 (141 GB) und B300 (288 GB). Die Server werden mit einsatzbereitem CUDA, PyTorch und TensorFlow geliefert, laufen in 25 Rechenzentren und beinhalten ein Uptime-SLA von 99,95 % sowie menschlichen 24/7-Support. Besuchen Sie die GPU-Cloud-Seite, vergleichen Sie die Karten in unserem Ratgeber H200 vs. B300 vs. RTX PRO 6000 oder lesen Sie mehr über Anwendungsfälle für LLM-Inferenz.

Quellen: Gartner-Pressemitteilung zu Ausgaben für KI-optimierte IaaS, 10. August 2026; NVIDIA-Produktspezifikationen für H200, B300 und RTX PRO 6000.