כמה עולה להריץ מודל AI בייצור? מדריך עלויות 2026

התשובה הקצרה: העלות של הרצת מודל AI בייצור היא המחיר של שעות ה-GPU, חלקי מספר הטוקנים השימושיים שמפיקים מהן. GPU ייעודי שעסוק רוב היום יוצא בדרך כלל זול יותר לכל טוקן מ-API שמשלמים עליו לפי טוקן; GPU שעומד רוב היום בטל כמעט אף פעם לא. שלושה מספרים קובעים את החשבון: איזה GPU צריך (נקבע לפי נפח הזיכרון של המודל), המחיר שלו לשעה, ואחוז הניצול שלו.

למה ההרצה (Inference) הפכה לחשבון ה-AI הגדול

במשך שנים החלק היקר ב-AI היה האימון. זה התהפך. באוגוסט 2026 צפתה Gartner שההוצאה העולמית על תשתיות ענן מותאמות AI תגיע ל-42 מיליארד דולר ב-2026, עלייה של 96%, ושההוצאה על הרצת מודלים (23.3 מיליארד דולר) תעקוף לראשונה את ההוצאה על אימון (19 מיליארד דולר). לפי התחזית, הרצת מודלים תהווה 55% מההוצאה הזו ב-2026 ו-59% ב-2027. הסיבה פשוטה: מודל מאמנים פעם אחת, אבל הוא עונה בכל שנייה שהוא בייצור, וסוכני AI מבצעים קריאות רבות למודל על כל בקשה של משתמש.

מה באמת קובע את עלות הרצת המודל

1. זיכרון, שקובע את ה-GPU. המשקלים של המודל צריכים להיכנס לזיכרון ה-GPU, עם מקום פנוי ל-KV cache שמחזיק את ההקשר של כל שיחה. כלל אצבע: מספר הפרמטרים כפול הבייטים לפרמטר. בדיוק של 16 ביט זה 2 בייטים לפרמטר, ב-FP8 בייט אחד, וב-4 ביט כחצי בייט.

• מודל 8B ב-16 ביט צריך כ-16GB, ולכן נכנס ל-NVIDIA L4 (24GB).
• מודל 70B ב-FP8 צריך כ-70GB, ולכן נכנס ל-RTX PRO 6000 (96GB) עם מקום להקשר.
• מודל 70B ב-16 ביט צריך כ-140GB, צפוף מדי ל-H200 (141GB) אחרי שמוסיפים הקשר, ונכנס בנוחות ל-B300 (288GB).
• מודל 405B ב-FP8 צריך כ-405GB, ולכן דורש שני B300 לפחות.

2. המחיר לשעה של אותו GPU. יותר זיכרון עולה יותר לשעה. בחירת ה-GPU הקטן ביותר שהמודל נכנס אליו עם מספיק הקשר היא החיסכון הגדול ביותר.

3. תפוקה. כמה טוקנים בשנייה ה-GPU מפיק לכל המשתמשים יחד. תוכנות הגשה כמו vLLM או TensorRT-LLM מאגדות בקשות רבות יחד, כך שהתפוקה הכוללת גבוהה בהרבה מהמהירות שמשתמש בודד רואה.

4. ניצול. החלק מהשעות ששילמתם עליהן שבו ה-GPU עושה עבודה מועילה. כאן רוב התקציבים דולפים.

איך מחשבים עלות למיליון טוקנים

הנוסחה: עלות למיליון טוקנים = מחיר ה-GPU לשעה / (טוקנים בשנייה x 3,600) x 1,000,000 / אחוז ניצול.

דוגמה עם מספרים להמחשה בלבד (לא מחיר של OMC): GPU שעולה 2.00 דולר לשעה ומפיק 1,000 טוקנים בשנייה לכל המשתמשים יחד מייצר 3.6 מיליון טוקנים בשעה. בניצול מלא זה כ-0.56 דולר למיליון טוקנים. בניצול של 25%, אותו שרת עולה כ-2.22 דולר למיליון טוקנים, פי ארבעה, כי משלמים גם על השעות המתות. בהרצה מסביב לשעון ה-GPU הזה עולה כ-1,460 דולר בחודש (730 שעות).

API או GPU משלכם: איפה נקודת האיזון

ל-API שמשלמים עליו לפי טוקן אין עלות של זמן בטל, ולכן הוא הבחירה הנכונה לאב-טיפוס, לתעבורה לא סדירה ולנפחים קטנים. ל-GPU ייעודי יש עלות חודשית קבועה, ולכן הוא זול יותר כשהנפח גבוה ויציב. כדי למצוא את נקודת האיזון, מחלקים את העלות החודשית של שרת ה-GPU במחיר ה-API למיליון טוקנים. אם צפוי לכם לעבד בחודש יותר טוקנים מהתוצאה, אירוח עצמי משתלם יותר.

המחיר הוא לא הסיבה היחידה לעבור ל-GPU משלכם. בשרת ייעודי הפרומפטים והמידע לא יוצאים מהסביבה שלכם, וזה חשוב בתעשיות מפוקחות, ב-GDPR ובתיקון 13 לחוק הגנת הפרטיות. אפשר גם להריץ מודלים מכווננים או מודלים פתוחים שאין ב-API, והשיהוי נשאר צפוי כי אף אחד אחר לא חולק אתכם את הכרטיס.

העלויות ששוכחים

• קיבולת בטלה: GPU ששמורים לשעות העומס ועומדים ריקים בלילה.
• שאר התשתית: שרתי CPU לאפליקציה, מסד נתונים וקטורי ל-RAG, מאזני עומסים ואחסון.
• תעבורת נתונים: חלק מספקי הענן גובים הרבה על תעבורה יוצאת. ב-OMC Cloud שרתים חודשיים כוללים 5,000GB תעבורה, ותעבורה נוספת עולה 0.01 דולר ל-GB.
• גיבוי ושחזור לקבצי המודל, לנתוני הכיוונון ולהגדרות.
• זמן הנדסה להתקנה, ניטור ועדכון של שכבת ההגשה.

חמש דרכים להוזיל את הרצת המודל

• קוונטיזציה: גרסאות FP8 או 4 ביט של מודל חוסכות חצי או שלושה רבעים מהזיכרון, לרוב עם פגיעה קטנה באיכות, וזה מאפשר GPU קטן יותר.
• GPU בגודל הנכון: התאימו את הכרטיס למודל ולאורך ההקשר במקום לבחור אוטומטית את הגדול ביותר.
• איגוד בקשות עם מנוע הגשה שנבנה לזה, כדי להעלות את מספר הטוקנים בשנייה.
• מודל קטן יותר איפה שהוא מספיק, והפניית הבקשות הקשות בלבד למודל הגדול.
• תשלום לפי שעה לעומסים ותשלום חודשי לבסיס, כדי לא לשלם כל החודש על קיבולת שיא שלא בשימוש.

הרצת מודלים ב-OMC Cloud

OMC Cloud משכירה כרטיסי NVIDIA ייעודיים עם גישה ישירה (Passthrough), בחיוב לפי שעה או לפי חודש: L4 (24GB), L40S (48GB), RTX PRO 6000 (96GB GDDR7), H100 (80GB), H200 (141GB) ו-B300 (288GB). השרתים מגיעים עם CUDA, PyTorch ו-TensorFlow מוכנים, פועלים ב-25 מרכזי נתונים, כולל בישראל, וכוללים SLA של 99.95% זמינות ותמיכה אנושית 24/7. ראו את עמוד שרתי ה-GPU, השוו כרטיסים במדריך H200 מול B300 מול RTX PRO 6000, או קראו על הרצת מודלי שפה.

מקורות: הודעת Gartner על ההוצאה על IaaS מותאם AI, 10 באוגוסט 2026; מפרטים רשמיים של NVIDIA ל-H200, B300 ו-RTX PRO 6000.