Caso d’uso cloud

Inferenza LLM e deployment di API

Distribuisci modelli linguistici di grandi dimensioni per l’inferenza in produzione con vLLM, TGI, Ollama o stack di serving personalizzati su GPU NVIDIA. Bassa latenza, prezzi fissi, 25 data center nel mondo.

$4/mese

Prezzo di partenza

Data center nel mondo

99.95%

SLA di uptime

24/7

Supporto umano

Perché eseguire l’inferenza LLM su OMC Cloud

L’inferenza LLM in produzione richiede calcolo GPU a bassa latenza, alta disponibilità e costi prevedibili. I provider di API fanno pagare a token: i costi crescono in modo imprevedibile con l’utilizzo. L’hosting in proprio su OMC Cloud ti offre un prezzo mensile fisso, indipendentemente dal volume di token.

Esegui vLLM, Text Generation Inference (TGI), Ollama, LiteLLM o qualsiasi framework di serving su GPU NVIDIA L40S o H100. Distribuisci in 25 data center nel mondo per la latenza più bassa verso i tuoi utenti. Accesso root completo per ottimizzazioni personalizzate: quantizzazione, batching, tuning della KV cache.

Vantaggi principali

Costo fisso per GPU

Nessuna fatturazione a token. Servi token illimitati a un prezzo mensile fisso.

Pronto per vLLM e TGI

Framework di serving di livello production con continuous batching e PagedAttention.

25 data center nel mondo

Distribuisci l’inferenza vicino ai tuoi utenti per tempi di risposta inferiori a 100 ms.

Compatibile con Ollama

Usa Ollama per un deployment LLM semplice, in stile locale, su GPU cloud.

Scalabilità automatica

Aggiungi istanze GPU nelle ore di punta e riduci di notte.

SLA di uptime del 99,95%

Affidabilità di livello production per le funzionalità AI rivolte ai clienti.

Storage NVMe per i modelli

Caricamento rapido dei modelli da NVMe. Nessun ritardo di cold start.

Accesso API completo

Crea e gestisci i server di inferenza tramite REST API.

Come funziona

Scegli

Seleziona data center, GPU/CPU, RAM, storage e sistema operativo.

Attiva

Server pronto in meno di 60 secondi tramite console o API.

Vai online

Installa il tuo stack, configuralo e lancialo con supporto 24/7.

Cloud vs on-premise vs condiviso

Caratteristica	OMC Cloud	On-premise	Condiviso
Costo iniziale	Nessuno – da 4 $/mese	$5,000-50,000+	5-20 $/mese
Prestazioni	NVMe dedicato	Dedicato ma fisso	Condiviso
Scalabilità	Istantanea	Settimane	Limitata
Controllo	Accesso root completo	Completa	Molto limitato
Uptime	SLA del 99,95%	Dipende da te	95-99%
Backup	Automatici, 14 punti	Fai da te	Di base
Copertura globale	25 data center	Sede unica	Condiviso

Prezzi GPU

Fatturazione mensile: un prezzo prevedibile per una GPU dedicata.

Da 1,50 $/ora

RTX PRO 6000 da 1,50 $/ora e H200 da 2,50 $/ora, con fatturazione mensile. Altre GPU su richiesta: scopri l’intera gamma nella pagina prodotto GPU.

Vedi le opzioni GPU →

Specifiche tecniche

GPU: NVIDIA H100, L40S, A16

Serving: vLLM, TGI, Ollama, LiteLLM, Triton

Quantizzazione: GPTQ, AWQ, GGUF, bitsandbytes

Modelli: Llama 3, Gemma 4, Mistral, Mixtral, Phi-3, Command-R

Latenza: TTFT inferiore a 100 ms nel data center più vicino

API: Endpoint compatibili con OpenAI tramite vLLM

Uptime: SLA del 99,95%

Rete: Fino a 40 Gbps

Domande frequenti

Quanto costa l’hosting per l’inferenza LLM?+

Da 1,50 $/ora (RTX PRO 6000) o 2,50 $/ora (H200), con fatturazione mensile. Le GPU più piccole (L4, L40S) sono adatte ai modelli 7B; la H100 gestisce modelli da 70B in su. Nessun costo a token.

Quali framework di serving supportate?+

Tutti: vLLM, TGI (Text Generation Inference), Ollama, LiteLLM, Triton Inference Server. Accesso root completo.

Posso servire modelli quantizzati?+

Sì. Sono supportate le quantizzazioni GPTQ, AWQ, GGUF e bitsandbytes. Meno VRAM utilizzata significa istanze GPU più piccole.

L’API è compatibile con OpenAI?+

Sì, se usi vLLM: fornisce un endpoint API compatibile con OpenAI già pronto. Sostituisce direttamente le chiamate all’API GPT.

Come gestisco i picchi di traffico?+

Distribuisci più server di inferenza dietro un load balancer. La nostra API supporta il provisioning programmatico per la scalabilità automatica.

Che latenza posso aspettarmi?+

Time-to-first-token (TTFT) inferiore a 100 ms con deployment nel data center più vicino ai tuoi utenti.

Casi d’uso correlati

Training di LLM

Esegui il fine-tuning dei modelli prima del deployment

Agenti AI

Alimenta gli agenti con la tua API LLM

Pipeline RAG

Arricchisci le risposte dell’LLM con i tuoi dati

Inizia la tua prova gratuita di 30 giorni

Attiva in meno di 60 secondi. Nessuna carta di credito richiesta.

Inizia gratis Vedi i prezzi