Cloud-Anwendungsfall

LLM-Inferenz und API-Bereitstellung

Stellen Sie große Sprachmodelle für produktive Inferenz mit vLLM, TGI, Ollama oder eigenen Serving-Stacks auf NVIDIA-GPUs bereit. Niedrige Latenz, feste Preise, 25 Rechenzentren weltweit.

$4/Monat

Einstiegspreis

Rechenzentren weltweit

99.95%

Uptime-SLA

24/7

Support durch Menschen

Warum LLM-Inferenz auf OMC Cloud?

Produktive LLM-Inferenz erfordert GPU-Rechenleistung mit niedriger Latenz, hohe Verfügbarkeit und planbare Kosten. API-Anbieter rechnen pro Token ab – die Kosten steigen mit der Nutzung unvorhersehbar. Self-Hosting auf OMC Cloud bietet Ihnen feste monatliche Preise, unabhängig vom Token-Volumen.

Betreiben Sie vLLM, Text Generation Inference (TGI), Ollama, LiteLLM oder jedes andere Serving-Framework auf NVIDIA-L40S- oder H100-GPUs. Nutzen Sie 25 Rechenzentren weltweit für die geringste Latenz zu Ihren Nutzern. Voller Root-Zugriff für eigene Optimierungen – Quantisierung, Batching, KV-Cache-Tuning.

Die wichtigsten Vorteile

Feste Kosten pro GPU

Keine Abrechnung pro Token. Unbegrenzt viele Tokens zum festen Monatspreis.

Bereit für vLLM und TGI

Produktionsreife Serving-Frameworks mit Continuous Batching und PagedAttention.

25 Rechenzentren weltweit

Betreiben Sie Inferenz nah an Ihren Nutzern für Antwortzeiten unter 100 ms.

Ollama-kompatibel

Nutzen Sie Ollama für eine einfache LLM-Bereitstellung wie lokal – auf Cloud-GPUs.

Automatische Skalierung

Fügen Sie zu Spitzenzeiten GPU-Instanzen hinzu und skalieren Sie nachts herunter.

99,95 % Uptime-SLA

Produktionsreife Zuverlässigkeit für kundennahe KI-Funktionen.

NVMe-Modellspeicher

Schnelles Laden von Modellen über NVMe. Keine Kaltstart-Verzögerungen.

Voller API-Zugriff

Inferenz-Server per REST API bereitstellen und verwalten.

So funktioniert es

Auswählen

Wählen Sie Rechenzentrum, GPU/CPU, RAM, Storage und Betriebssystem.

Bereitstellen

Server in unter 60 Sekunden einsatzbereit, über Konsole oder API.

Live gehen

Stack installieren, konfigurieren und mit 24/7-Support live gehen.

Cloud vs. On-Premise vs. Shared

Merkmal	OMC Cloud	On-Premise	Shared
Anfangsinvestition	Keine – ab 4 $/Monat	$5,000-50,000+	5-20 $/Monat
Leistung	Dedizierter NVMe-Speicher	Dediziert, aber fest	Shared
Skalierung	Sofort	Wochen	Begrenzt
Kontrolle	Voller Root-Zugriff	Vollständig	Sehr begrenzt
Uptime	99,95 % SLA	Hängt von Ihnen ab	95-99%
Backups	Automatisch, 14 Punkte	In Eigenregie	Einfach
Globale Reichweite	25 Rechenzentren	Ein Standort	Shared

GPU-Preise

Monatliche Abrechnung: ein planbarer Preis für eine dedizierte GPU.

Ab 1,50 $/Stunde

RTX PRO 6000 ab 1,50 $/Stunde und H200 ab 2,50 $/Stunde, monatlich abgerechnet. Weitere GPUs auf Anfrage – das vollständige Angebot finden Sie auf der GPU-Produktseite.

GPU-Optionen ansehen →

Technische Spezifikationen

GPU: NVIDIA H100, L40S, A16

Serving: vLLM, TGI, Ollama, LiteLLM, Triton

Quantisierung: GPTQ, AWQ, GGUF, bitsandbytes

Modelle: Llama 3, Gemma 4, Mistral, Mixtral, Phi-3, Command-R

Latenz: TTFT unter 100 ms im nächstgelegenen Rechenzentrum

API: OpenAI-kompatible Endpunkte über vLLM

Uptime: 99,95 % SLA

Netzwerk: Bis zu 40 Gbit/s

Häufig gestellte Fragen

Was kostet LLM-Inferenz-Hosting?+

Ab 1,50 $/Stunde (RTX PRO 6000) oder 2,50 $/Stunde (H200), monatlich abgerechnet. Kleinere GPUs (L4, L40S) eignen sich für 7B-Modelle; die H100 bewältigt 70B+. Keine Gebühren pro Token.

Welche Serving-Frameworks unterstützen Sie?+

Alle: vLLM, TGI (Text Generation Inference), Ollama, LiteLLM, Triton Inference Server. Voller Root-Zugriff.

Kann ich quantisierte Modelle bereitstellen?+

Ja. GPTQ-, AWQ-, GGUF- und bitsandbytes-Quantisierung werden unterstützt. Weniger VRAM-Bedarf bedeutet kleinere GPU-Instanzen.

Ist die API OpenAI-kompatibel?+

Ja, wenn Sie vLLM nutzen – es stellt direkt einen OpenAI-kompatiblen API-Endpunkt bereit. Ein direkter Ersatz für GPT-API-Aufrufe.

Wie gehe ich mit Lastspitzen um?+

Betreiben Sie mehrere Inferenz-Server hinter einem Load Balancer. Unsere API unterstützt die programmatische Bereitstellung für automatische Skalierung.

Mit welcher Latenz kann ich rechnen?+

Time-to-First-Token (TTFT) unter 100 ms, wenn Sie im Rechenzentrum bereitstellen, das Ihren Nutzern am nächsten liegt.

Starten Sie Ihre kostenlose 30-Tage-Testversion

In unter 60 Sekunden bereitstellen. Keine Kreditkarte erforderlich.

Kostenlos starten Preise ansehen