H200 vs. B300 vs. RTX PRO 6000: Welche GPU für KI-Inferenz?

Kurze Antwort: Wählen Sie die GPU für Inferenz zuerst nach Speicher und dann nach Speicherbandbreite. Die RTX PRO 6000 (96 GB) ist die kosteneffiziente Wahl für quantisierte Modelle bis etwa 70B Parameter sowie für Bild- und Videogenerierung. Die H200 (141 GB, 4,8 TB/s) eignet sich für Modelle der 70B-Klasse mit langem Kontext und vielen gleichzeitigen Nutzern. Die B300 (288 GB, bis zu 8 TB/s) ist für die größten Modelle gedacht: 70B-Modelle mit 16 Bit, Mixture-of-Experts-Modelle, sehr langen Kontext und mehrere Modelle auf einer Karte.

Die drei GPUs im Überblick

NVIDIA RTX PRO 6000 Blackwell (Server Edition). 96 GB GDDR7-Speicher, 1.597 GB/s Speicherbandbreite, bis zu 600 W. Blackwell-Architektur mit FP4-Unterstützung und Multi-Instance GPU (MIG), die eine Karte in bis zu vier isolierte GPUs aufteilt. Sie ist außerdem eine vollwertige Grafikkarte, sodass derselbe Server auch rendern kann.

NVIDIA H200. 141 GB HBM3e-Speicher, 4,8 TB/s Bandbreite, bis zu 700 W (SXM). Hopper-Architektur mit FP8-Unterstützung. Laut NVIDIA ist sie bei der Inferenz von Llama 2 70B 1,9-mal schneller als die H100, vor allem dank des größeren und schnelleren Speichers.

NVIDIA B300 (Blackwell Ultra). 288 GB HBM3e-Speicher und bis zu 8 TB/s Bandbreite pro GPU. Blackwell-Ultra-Architektur mit nativem FP4, ausgelegt für Reasoning-Modelle und Serving im großen Maßstab. In einem HGX-B300-Server mit 8 GPUs sind die Karten per NVLink mit 1,8 TB/s pro GPU verbunden.

Warum der Speicher für Inferenz am wichtigsten ist

Wenn ein Modell Text erzeugt, müssen für jedes neue Token die Gewichte des Modells aus dem GPU-Speicher gelesen werden. Daraus folgt zweierlei. Erstens müssen die Gewichte plus der KV-Cache (der gespeicherte Kontext jeder aktiven Konversation) in den Speicher passen, sonst läuft das Modell auf dieser Karte überhaupt nicht. Zweitens wird die Geschwindigkeit, die jeder Nutzer sieht, sobald das Modell passt, weitgehend von der Speicherbandbreite bestimmt, nicht von der reinen Rechenleistung. Deshalb ist die H200 bei der Inferenz trotz gleicher Rechenleistung viel schneller als die H100, und deshalb zählen die 8 TB/s der B300.

Eine schnelle Faustregel zur Dimensionierung: Parameter mal Bytes pro Parameter (2 bei 16 Bit, 1 bei FP8, etwa 0,5 bei 4 Bit), plus Platz für Kontext.

• Modelle mit 8B bis 32B: passen bei jeder Präzision problemlos auf eine RTX PRO 6000, mit viel Platz für gleichzeitige Nutzer.
• 70B mit FP8 (etwa 70 GB): passt auf eine RTX PRO 6000 mit moderatem Kontext oder auf eine H200 mit langem Kontext und hoher Parallelität.
• 70B mit 16 Bit (etwa 140 GB): für eine H200 zu knapp, sobald Kontext hinzukommt; bequem auf einer B300.
• 120B bis 200B mit FP8 oder große Mixture-of-Experts-Modelle: B300.
• Modelle ab 400B: zwei oder mehr B300 oder mehrere per NVLink verbundene H200.

Welche GPU für welche Aufgabe

Wählen Sie die RTX PRO 6000, wenn Sie kleine und mittelgroße Modelle (Chatbots, RAG, Coding-Assistenten, Agents) bis 70B quantisiert betreiben, Bild- oder Videogenerierung wie Stable Diffusion oder Flux nutzen, Grafik und KI auf demselben Server brauchen oder eine Karte per MIG für mehrere kleine Modelle in vier aufteilen möchten. Sie bietet von den dreien den meisten Speicher pro Dollar.

Wählen Sie die H200, wenn Sie Modelle der 70B-Klasse produktiv mit langen Prompts und vielen gleichzeitigen Nutzern betreiben, den ausgereiften Hopper- und FP8-Software-Stack brauchen oder auf derselben Hardware auch Modelle feinabstimmen. Ihre Bandbreite ist etwa dreimal so hoch wie die der RTX PRO 6000, sodass jeder Nutzer Tokens schneller erhält.

Wählen Sie die B300, wenn das Modell für alles andere zu groß ist, Sie ein 70B-Modell in voller 16-Bit-Qualität auf einer Karte betreiben möchten, Sie Reasoning-Modelle mit sehr langen Ausgaben bereitstellen oder mehrere Modelle auf einer einzigen GPU hosten möchten. Dank FP4-Unterstützung kann sie noch größere Modelle zu geringeren Kosten pro Token aufnehmen und bereitstellen.

Und die Kosten?

Die richtige Frage sind die Kosten pro Token, nicht die Kosten pro Stunde. Eine größere GPU, die viel mehr Nutzer gleichzeitig bedient, kann pro Token günstiger sein als eine kleine, die überlastet ist, und eine kleine GPU, auf die Ihr Modell passt, ist weit günstiger als eine große, die halb leer läuft. Beginnen Sie mit der kleinsten Karte, auf die das Modell mit der benötigten Kontextlänge passt, messen Sie die Tokens pro Sekunde unter realer Last und vergleichen Sie dann. Unser Ratgeber zu den Kosten für den KI-Betrieb in der Produktion zeigt die Berechnung.

Schnelle Entscheidungshilfe

• Modell unter 32B oder Bild-/Videogenerierung: RTX PRO 6000.
• 70B quantisiert, moderater Traffic: RTX PRO 6000.
• 70B mit langem Kontext und hoher Parallelität: H200.
• 70B mit 16 Bit, Modelle ab 100B, MoE, mehrere Modelle pro Karte: B300.
• Training oder Fine-Tuning großer Modelle: H200 oder B300.

H200, B300 und RTX PRO 6000 bei OMC Cloud mieten

OMC Cloud bietet alle drei als dedizierte GPUs mit vollem Passthrough an, stündlich oder monatlich abgerechnet, neben L4, L40S, RTX 6000 Ada, A16 und H100. Die RTX PRO 6000 gibt es ab $1,50 pro Stunde und die H200 ab $2,50 pro Stunde bei monatlicher Abrechnung. Die Server werden mit vorkonfiguriertem CUDA, PyTorch und TensorFlow, Gen-5-NVMe-Storage, einem Uptime-SLA von 99,95 % und 24/7-Support durch GPU-Spezialisten geliefert. Besuchen Sie die GPU-Cloud-Seite oder unseren GPU-Ratgeber.

Quellen: offizielle NVIDIA-Spezifikationen für H200, RTX PRO 6000 Blackwell Server Edition und HGX B300.