Cloudtoepassing

LLM-inference en API-deployment

Zet grote taalmodellen in voor inference in productie met vLLM, TGI, Ollama of een eigen serving-stack op NVIDIA GPU’s. Lage latency, vaste prijzen, 25 datacenters wereldwijd.

$4/mnd

Startprijs

Datacenters wereldwijd

99.95%

Uptime-SLA

24/7

Menselijke support

Waarom LLM-inference op OMC Cloud

LLM-inference in productie vraagt om GPU-rekenkracht met lage latency, hoge beschikbaarheid en voorspelbare kosten. API-aanbieders rekenen per token, waardoor de kosten onvoorspelbaar meegroeien met het gebruik. Met self-hosting op OMC Cloud betaal je een vaste maandprijs, ongeacht het aantal tokens.

Draai vLLM, Text Generation Inference (TGI), Ollama, LiteLLM of elk ander serving-framework op NVIDIA L40S- of H100-GPU’s. Kies uit 25 datacenters wereldwijd voor de laagste latency naar je gebruikers. Volledige root-toegang voor eigen optimalisaties: kwantisatie, batching, KV-cache-tuning.

Belangrijkste voordelen

Vaste kosten per GPU

Geen facturering per token. Verwerk onbeperkt tokens voor een vaste maandprijs.

Klaar voor vLLM en TGI

Serving-frameworks voor productie met continuous batching en PagedAttention.

25 datacenters wereldwijd

Draai inference zo dicht mogelijk bij je gebruikers voor responstijden onder 100 ms.

Compatibel met Ollama

Gebruik Ollama voor eenvoudige LLM-deployment in lokale stijl op cloud-GPU’s.

Automatisch schalen

Voeg GPU-instances toe tijdens piekuren en schaal ‘s nachts af.

Uptime-SLA van 99,95%

Betrouwbaarheid op productieniveau voor AI-functies die je klanten gebruiken.

NVMe-opslag voor modellen

Snel modellen laden vanaf NVMe. Geen vertraging door een koude start.

Volledige API-toegang

Richt inference-servers in en beheer ze via de REST API.

Hoe het werkt

Kies

Kies datacenter, GPU/CPU, RAM, opslag en OS.

Uitrollen

Server klaar in minder dan 60 seconden via console of API.

Ga live

Installeer je stack, configureer en lanceer met 24/7 support.

Cloud vs on-premise vs shared

Functie	OMC Cloud	On-premise	Shared
Initiële kosten	Geen – vanaf $4/mnd	$5,000-50,000+	$5-20/mnd
Prestaties	Dedicated NVMe	Dedicated maar vast	Shared
Schalen	Direct	Weken	Beperkt
Controle	Volledige root-toegang	Volledig	Zeer beperkt
Uptime	SLA van 99,95%	Hangt van jou af	95-99%
Back-ups	Automatisch, 14 punten	Zelf regelen	Basis
Wereldwijd bereik	25 datacenters	Eén locatie	Shared

GPU-prijzen

Maandelijks gefactureerd: een voorspelbare prijs voor een dedicated GPU.

Vanaf $1,50/uur

RTX PRO 6000 vanaf $1,50/uur en H200 vanaf $2,50/uur, maandelijks gefactureerd. Andere GPU’s op aanvraag – bekijk het volledige aanbod op de GPU-productpagina.

Bekijk GPU-opties →

Technische specificaties

GPU: NVIDIA H100, L40S, A16

Serving: vLLM, TGI, Ollama, LiteLLM, Triton

Kwantisatie: GPTQ, AWQ, GGUF, bitsandbytes

Modellen: Llama 3, Gemma 4, Mistral, Mixtral, Phi-3, Command-R

Latency: TTFT onder 100 ms in het dichtstbijzijnde datacenter

API: OpenAI-compatibele endpoints via vLLM

Uptime: 99,95% SLA

Netwerk: Tot 40 Gbps

Veelgestelde vragen

Wat kost hosting voor LLM-inference?+

Vanaf $ 1,50 per uur (RTX PRO 6000) of $ 2,50 per uur (H200), maandelijks gefactureerd. Kleinere GPU’s (L4, L40S) zijn geschikt voor 7B-modellen; de H100 kan 70B+ aan. Geen kosten per token.

Welke serving-frameworks ondersteunen jullie?+

Alle: vLLM, TGI (Text Generation Inference), Ollama, LiteLLM, Triton Inference Server. Volledige root-toegang.

Kan ik gekwantiseerde modellen draaien?+

Ja. Kwantisatie met GPTQ, AWQ, GGUF en bitsandbytes wordt allemaal ondersteund. Minder VRAM-gebruik betekent kleinere GPU-instances.

Is de API compatibel met OpenAI?+

Ja, als je vLLM gebruikt: dat biedt direct een OpenAI-compatibel API-endpoint. Een drop-in vervanging voor GPT API-calls.

Hoe vang ik pieken in het verkeer op?+

Zet meerdere inference-servers achter een load balancer. Met onze API kun je servers programmatisch inrichten voor automatisch schalen.

Welke latency kan ik verwachten?+

Time-to-first-token (TTFT) onder 100 ms als je het datacenter kiest dat het dichtst bij je gebruikers ligt.

Gerelateerde toepassingen

LLM-training

Fine-tune modellen vóór deployment

AI-agents

Voed agents met je eigen LLM API

RAG-pipeline

Verrijk LLM-antwoorden met je eigen data

Start je gratis proefperiode van 30 dagen

Uitrollen in minder dan 60 seconden. Geen creditcard nodig.

Gratis aan de slag Bekijk prijzen