H200 vs B300 vs RTX PRO 6000: quale GPU per l'inferenza AI?

In breve: per l'inferenza, scegli la GPU prima in base alla memoria e poi alla banda di memoria. La RTX PRO 6000 (96 GB) è la scelta più conveniente per modelli fino a circa 70B parametri quantizzati e per la generazione di immagini e video. La H200 (141 GB, 4.8 TB/s) è adatta a modelli di classe 70B con contesto lungo e molti utenti contemporanei. La B300 (288 GB, fino a 8 TB/s) è per i modelli più grandi, modelli 70B a 16 bit, modelli mixture-of-experts, contesti molto lunghi ed esecuzione di più modelli su una sola scheda.

Le tre GPU a colpo d'occhio

NVIDIA RTX PRO 6000 Blackwell (Server Edition). 96 GB di memoria GDDR7, 1.597 GB/s di banda di memoria, fino a 600 W. Architettura Blackwell con supporto FP4 e Multi-Instance GPU (MIG), che divide una scheda in un massimo di quattro GPU isolate. È anche una scheda grafica completa, quindi lo stesso server può fare rendering.

NVIDIA H200. 141 GB di memoria HBM3e, 4.8 TB/s di banda, fino a 700 W (SXM). Architettura Hopper con supporto FP8. Secondo NVIDIA è 1.9 volte più veloce della H100 nell'inferenza di Llama 2 70B, soprattutto grazie alla memoria più grande e più veloce.

NVIDIA B300 (Blackwell Ultra). 288 GB di memoria HBM3e e fino a 8 TB/s di banda per GPU. Architettura Blackwell Ultra con FP4 nativo, progettata per modelli di ragionamento e serving su larga scala. In un server HGX B300 a 8 GPU le schede sono collegate tramite NVLink a 1.8 TB/s per GPU.

Perché per l'inferenza conta soprattutto la memoria

Quando un modello genera testo, ogni nuovo token richiede la lettura dei pesi del modello dalla memoria della GPU. Ne derivano due conseguenze. Primo, i pesi più la KV cache (il contesto memorizzato di ogni conversazione attiva) devono entrare in memoria, altrimenti il modello non funziona affatto su quella scheda. Secondo, una volta che il modello entra, la velocità percepita da ciascun utente dipende in gran parte dalla banda di memoria, non dalla potenza di calcolo pura. Ecco perché la H200 è molto più veloce della H100 nell'inferenza pur avendo la stessa potenza di calcolo, ed ecco perché gli 8 TB/s della B300 contano.

Una regola rapida di dimensionamento: parametri moltiplicati per i byte per parametro (2 a 16 bit, 1 in FP8, circa 0.5 a 4 bit), più lo spazio per il contesto.

• Modelli da 8B a 32B: entrano facilmente in una RTX PRO 6000 a qualsiasi precisione, con molto spazio per utenti contemporanei.
• 70B in FP8 (circa 70 GB): entra in una RTX PRO 6000 con un contesto moderato, oppure in una H200 con contesto lungo ed elevata concorrenza.
• 70B a 16 bit (circa 140 GB): troppo per una H200 una volta aggiunto il contesto; comodo su una B300.
• Da 120B a 200B in FP8, o grandi modelli mixture-of-experts: B300.
• Modelli da 400B+: due o più B300, oppure diverse H200 collegate tramite NVLink.

Quale GPU per quale lavoro

Scegli la RTX PRO 6000 se servi modelli piccoli e medi (chatbot, RAG, assistenti di programmazione, agenti) fino a 70B quantizzati, generi immagini o video con strumenti come Stable Diffusion o Flux, ti servono grafica e AI sullo stesso server, oppure vuoi dividere una scheda in quattro con MIG per più modelli piccoli. Delle tre, è quella che offre più memoria per dollaro.

Scegli la H200 se servi in produzione modelli di classe 70B con prompt lunghi e molti utenti contemporanei, ti serve lo stack software maturo di Hopper e FP8, oppure esegui anche il fine-tuning dei modelli sullo stesso hardware. La sua banda è circa tre volte quella della RTX PRO 6000, quindi ogni utente riceve i token più rapidamente.

Scegli la B300 se il modello è troppo grande per qualsiasi altra scheda, vuoi eseguire un modello 70B a piena qualità a 16 bit su una sola scheda, servi modelli di ragionamento con output molto lunghi, oppure vuoi ospitare più modelli su una singola GPU. Il supporto FP4 le permette di contenere e servire modelli ancora più grandi con un costo per token inferiore.

E il costo?

La domanda giusta è il costo per token, non il costo orario. Una GPU più grande che serve molti più utenti contemporaneamente può costare meno per token di una piccola sovraccarica, e una GPU piccola che contiene il tuo modello costa molto meno di una grande mezza vuota. Parti dalla scheda più piccola che contiene il modello con la lunghezza di contesto che ti serve, misura i token al secondo sotto carico reale e poi confronta. La nostra guida al costo di esecuzione dell'AI in produzione mostra il calcolo.

Guida rapida alla scelta

• Modello sotto i 32B o generazione di immagini/video: RTX PRO 6000.
• 70B quantizzato, traffico moderato: RTX PRO 6000.
• 70B con contesto lungo ed elevata concorrenza: H200.
• 70B a 16 bit, modelli da 100B+, MoE, più modelli per scheda: B300.
• Addestramento o fine-tuning di modelli grandi: H200 o B300.

Noleggia H200, B300 e RTX PRO 6000 su OMC Cloud

OMC Cloud offre tutte e tre come GPU dedicate con passthrough completo, con fatturazione oraria o mensile, insieme a L4, L40S, RTX 6000 Ada, A16 e H100. La RTX PRO 6000 parte da 1,50 $ all'ora e la H200 da 2,50 $ all'ora, con fatturazione mensile. I server arrivano con CUDA, PyTorch e TensorFlow preconfigurati, storage NVMe Gen 5, uno SLA di uptime del 99.95% e supporto 24/7 da parte di specialisti GPU. Visita la pagina GPU cloud o la nostra guida alle GPU.

Fonti: specifiche ufficiali NVIDIA per H200, RTX PRO 6000 Blackwell Server Edition e HGX B300.