Wat kost het om een AI-model in productie te draaien? (2026)

Kort antwoord: Een AI-model in productie draaien kost wat de GPU-uren kosten, gedeeld door het aantal bruikbare tokens dat je eruit haalt. Een dedicated GPU die het grootste deel van de dag bezig is, is per token meestal goedkoper dan een API met betaling per token; een GPU die het grootste deel van de dag stilstaat bijna nooit. De drie getallen die je rekening bepalen zijn de GPU die je nodig hebt (bepaald door het geheugengebruik van het model), de uurprijs ervan en de bezettingsgraad.

Waarom inferentie nu de grootste AI-kostenpost is

Jarenlang was training het dure deel van AI. Dat is omgedraaid. In augustus 2026 voorspelde Gartner dat de uitgaven aan AI-geoptimaliseerde cloudinfrastructuur in 2026 $42 miljard zullen bereiken, een stijging van 96%, en dat inferentie ($23,3 miljard) voor het eerst training ($19 miljard) zal inhalen. Naar verwachting gaat 55% van die uitgaven in 2026 naar inferentie en 59% in 2027. De reden is eenvoudig: een model wordt één keer getraind, maar beantwoordt elke seconde dat het in productie is vragen, en agentic workflows doen voor elk gebruikersverzoek veel modelaanroepen.

Wat de kosten van een model echt bepaalt

1. Geheugen, en dat bepaalt de GPU. De gewichten van het model moeten in het GPU-geheugen passen, met ruimte over voor de KV-cache die de context van elk gesprek bevat. Een vuistregel: aantal parameters maal bytes per parameter. Bij 16-bit precisie is dat 2 bytes per parameter, bij FP8 1 byte, bij 4-bit ongeveer een halve byte.

• Een 8B-model op 16-bit heeft ongeveer 16 GB nodig en past dus op een NVIDIA L4 (24 GB).
• Een 70B-model op FP8 heeft ongeveer 70 GB nodig en past dus op een RTX PRO 6000 (96 GB), met ruimte voor context.
• Een 70B-model op 16-bit heeft ongeveer 140 GB nodig; dat is te krap voor een H200 (141 GB) zodra je context toevoegt, en past ruim op een B300 (288 GB).
• Een 405B-model op FP8 heeft ongeveer 405 GB nodig en heeft dus twee of meer B300's nodig.

2. De uurprijs van die GPU. Meer geheugen kost meer per uur. De kleinste GPU kiezen waarop het model met voldoende context past, is de grootste besparing die je kunt maken.

3. Doorvoer. Hoeveel tokens per seconde de GPU produceert voor alle gebruikers samen. Servingsoftware zoals vLLM of TensorRT-LLM bundelt veel verzoeken, waardoor de totale doorvoer veel hoger is dan de snelheid die één gebruiker ziet.

4. Bezettingsgraad. Het deel van de betaalde uren dat de GPU nuttig werk doet. Hier lekt het meeste budget weg.

Zo bereken je de kosten per miljoen tokens

De formule is: kosten per miljoen tokens = uurprijs GPU / (tokens per seconde x 3.600) x 1.000.000 / bezettingsgraad.

Een rekenvoorbeeld met illustratieve getallen (geen OMC-prijs): een GPU van $2,00 per uur die 1.000 tokens per seconde produceert voor alle gebruikers samen, maakt 3,6 miljoen tokens per uur. Bij volledige bezetting is dat ongeveer $0,56 per miljoen tokens. Bij 25% bezetting kost dezelfde server ongeveer $2,22 per miljoen tokens, vier keer zoveel, omdat je ook de stilstaande uren betaalt. Draait die GPU de klok rond, dan kost hij ongeveer $1.460 per maand (730 uur).

API of je eigen GPU: waar het omslagpunt ligt

Een API met betaling per token heeft geen kosten bij stilstand, en is daarom de juiste keuze voor prototypes, piekverkeer en lage volumes. Een dedicated GPU heeft vaste maandkosten, en wordt daardoor goedkoper zodra het volume hoog en stabiel is. Je omslagpunt vind je door de maandkosten van de GPU-server te delen door de prijs per miljoen tokens van de API. Verwacht je per maand meer tokens te verwerken dan dat, dan wint self-hosting op prijs.

Kosten zijn niet de enige reden waarom teams overstappen op eigen GPU's. Met een dedicated server verlaten prompts en data nooit je omgeving, wat belangrijk is voor gereguleerde sectoren en de AVG. Je kunt ook gefinetunede of open-weight modellen draaien die API's niet aanbieden, en de latency blijft voorspelbaar omdat niemand anders de kaart deelt.

De kosten die mensen vergeten

• Ongebruikte capaciteit: GPU's die voor piekuren zijn gereserveerd en 's nachts ongebruikt blijven.
• De rest van de stack: CPU-servers voor de applicatie, een vectordatabase voor RAG, load balancers en opslag.
• Dataverkeer: sommige clouds rekenen fors voor uitgaand verkeer. Bij OMC Cloud is bij maandservers 5.000 GB verkeer inbegrepen en kost extra verkeer $0,01 per GB.
• Back-ups en herstel voor modelbestanden, finetuningdata en configuratie.
• Engineeringtijd om de servingstack te deployen, te monitoren en bij te werken.

Vijf manieren om inferentiekosten te verlagen

• Kwantiseer: FP8- of 4-bit-versies van een model halveren of vierendelen het geheugen, vaak met weinig kwaliteitsverlies, zodat je een kleinere GPU kunt gebruiken.
• Kies de juiste GPU: stem de kaart af op het model en de contextlengte in plaats van standaard de grootste te nemen.
• Bundel verzoeken met een servingengine die daarvoor gebouwd is, om het aantal tokens per seconde te verhogen.
• Gebruik een kleiner model waar dat goed genoeg is, en stuur alleen de moeilijke verzoeken naar het grote model.
• Betaal per uur voor pieken en per maand voor de basislast, zodat je niet de hele maand betaalt voor ongebruikte piekcapaciteit.

Inferentie draaien op OMC Cloud

OMC Cloud verhuurt dedicated NVIDIA GPU's met volledige passthrough, gefactureerd per uur of per maand: L4 (24 GB), L40S (48 GB), RTX PRO 6000 (96 GB GDDR7), H100 (80 GB), H200 (141 GB) en B300 (288 GB). Servers worden geleverd met CUDA, PyTorch en TensorFlow klaar voor gebruik, draaien in 25 datacenters en hebben een uptime-SLA van 99,95% en 24/7 menselijke support. Bekijk de GPU-cloudpagina, vergelijk kaarten in onze gids H200 vs B300 vs RTX PRO 6000 of lees over toepassingen voor LLM-inferentie.

Bronnen: persbericht van Gartner over uitgaven aan AI-geoptimaliseerde IaaS, 10 augustus 2026; productspecificaties van NVIDIA voor H200, B300 en RTX PRO 6000.