H200 vs B300 vs RTX PRO 6000: welke GPU voor AI-inferentie?

Kort antwoord: Kies voor inferentie de GPU eerst op geheugen en daarna op geheugenbandbreedte. De RTX PRO 6000 (96 GB) is de kostenefficiënte keuze voor gekwantiseerde modellen tot ongeveer 70B parameters en voor beeld- en videogeneratie. De H200 (141 GB, 4,8 TB/s) past bij modellen van de 70B-klasse met lange context en veel gelijktijdige gebruikers. De B300 (288 GB, tot 8 TB/s) is voor de grootste modellen, 70B-modellen op 16-bit, mixture-of-expertsmodellen, zeer lange context en meerdere modellen op één kaart.

De drie GPU's in één oogopslag

NVIDIA RTX PRO 6000 Blackwell (Server Edition). 96 GB GDDR7-geheugen, 1.597 GB/s geheugenbandbreedte, tot 600 W. Blackwell-architectuur met FP4-ondersteuning, en Multi-Instance GPU (MIG) die één kaart opsplitst in maximaal vier geïsoleerde GPU's. Het is ook een volwaardige grafische kaart, dus dezelfde server kan renderen.

NVIDIA H200. 141 GB HBM3e-geheugen, 4,8 TB/s bandbreedte, tot 700 W (SXM). Hopper-architectuur met FP8-ondersteuning. Volgens NVIDIA is hij 1,9 keer sneller dan de H100 bij inferentie op Llama 2 70B, vooral dankzij het grotere en snellere geheugen.

NVIDIA B300 (Blackwell Ultra). 288 GB HBM3e-geheugen en tot 8 TB/s bandbreedte per GPU. Blackwell Ultra-architectuur met native FP4, gebouwd voor reasoningmodellen en serving op grote schaal. In een HGX B300-server met 8 GPU's zijn de kaarten verbonden via NVLink met 1,8 TB/s per GPU.

Waarom geheugen het belangrijkst is voor inferentie

Wanneer een model tekst genereert, moeten voor elk nieuw token de gewichten van het model uit het GPU-geheugen worden gelezen. Daar volgen twee dingen uit. Ten eerste moeten de gewichten plus de KV-cache (de opgeslagen context van elk actief gesprek) in het geheugen passen, anders draait het model helemaal niet op die kaart. Ten tweede wordt, zodra het past, de snelheid die elke gebruiker ziet grotendeels bepaald door geheugenbandbreedte en niet door ruwe rekenkracht. Daarom is de H200 veel sneller dan de H100 bij inferentie, ondanks dezelfde rekenkracht, en daarom doet de 8 TB/s van de B300 ertoe.

Een snelle vuistregel: aantal parameters maal bytes per parameter (2 bij 16-bit, 1 bij FP8, ongeveer 0,5 bij 4-bit), plus ruimte voor context.

• Modellen van 8B tot 32B: passen bij elke precisie makkelijk op een RTX PRO 6000, met veel ruimte voor gelijktijdige gebruikers.
• 70B op FP8 (ongeveer 70 GB): past op een RTX PRO 6000 met beperkte context, of op een H200 met lange context en veel gelijktijdige gebruikers.
• 70B op 16-bit (ongeveer 140 GB): te krap voor een H200 zodra context wordt toegevoegd; ruim voldoende op een B300.
• 120B tot 200B op FP8, of grote mixture-of-expertsmodellen: B300.
• Modellen van 400B+: twee of meer B300's, of meerdere H200's verbonden via NVLink.

Welke GPU voor welke taak

Kies de RTX PRO 6000 als je kleine en middelgrote modellen serveert (chatbots, RAG, codeerassistenten, agents) tot 70B gekwantiseerd, beeld- of videogeneratie draait zoals Stable Diffusion of Flux, graphics en AI op dezelfde server nodig hebt, of één kaart met MIG in vier wilt splitsen voor meerdere kleine modellen. Van de drie biedt hij het meeste geheugen per dollar.

Kies de H200 als je modellen van de 70B-klasse in productie serveert met lange prompts en veel gelijktijdige gebruikers, de volwassen Hopper- en FP8-softwarestack nodig hebt, of ook modellen finetunet op dezelfde hardware. Zijn bandbreedte is ongeveer drie keer die van de RTX PRO 6000, dus elke gebruiker krijgt sneller tokens.

Kies de B300 als het model voor al het andere te groot is, je een 70B-model op volledige 16-bit-kwaliteit op één kaart wilt draaien, je reasoningmodellen met zeer lange outputs serveert, of je meerdere modellen op één GPU wilt hosten. Dankzij FP4-ondersteuning past hij nog grotere modellen en serveert hij ze tegen lagere kosten per token.

En de kosten?

De juiste vraag is de prijs per token, niet de prijs per uur. Een grotere GPU die veel meer gebruikers tegelijk bedient, kan per token goedkoper zijn dan een kleine die overbelast is, en een kleine GPU waarop je model past is veel goedkoper dan een grote die half leeg staat. Begin met de kleinste kaart waarop het model met de benodigde contextlengte past, meet het aantal tokens per seconde onder echte belasting en vergelijk dan. Onze gids over de kosten van AI in productie laat de berekening zien.

Snelle keuzehulp

• Model onder 32B, of beeld-/videogeneratie: RTX PRO 6000.
• 70B gekwantiseerd, gemiddeld verkeer: RTX PRO 6000.
• 70B met lange context en veel gelijktijdige gebruikers: H200.
• 70B op 16-bit, modellen van 100B+, MoE, meerdere modellen per kaart: B300.
• Training of finetuning van grote modellen: H200 of B300.

Huur H200, B300 en RTX PRO 6000 bij OMC Cloud

OMC Cloud biedt alle drie aan als dedicated GPU's met volledige passthrough, gefactureerd per uur of per maand, naast L4, L40S, RTX 6000 Ada, A16 en H100. De RTX PRO 6000 is er vanaf $1,50 per uur en de H200 vanaf $2,50 per uur, bij maandelijkse facturering. Servers worden geleverd met CUDA, PyTorch en TensorFlow vooraf geconfigureerd, Gen 5 NVMe-opslag, een uptime-SLA van 99,95% en 24/7 support van GPU-specialisten. Bekijk de GPU-cloudpagina of onze GPU-gids.

Bronnen: officiële NVIDIA-specificaties voor H200, RTX PRO 6000 Blackwell Server Edition en HGX B300.