H200 מול B300 מול RTX PRO 6000: איזה GPU להרצת מודלים?

התשובה הקצרה: להרצת מודלים בוחרים GPU קודם לפי נפח הזיכרון ואחר כך לפי רוחב הפס של הזיכרון. RTX PRO 6000 (96GB) הוא הבחירה המשתלמת למודלים של עד כ-70B פרמטרים בקוונטיזציה, וליצירת תמונות ווידאו. H200 (141GB, 4.8TB/s) מתאים למודלים בסדר גודל 70B עם הקשר ארוך ומשתמשים רבים במקביל. B300 (288GB, עד 8TB/s) מיועד למודלים הגדולים ביותר, למודלי 70B ב-16 ביט, למודלי Mixture-of-Experts, להקשר ארוך מאוד ולהרצת כמה מודלים על כרטיס אחד.

שלושת הכרטיסים במבט אחד

NVIDIA RTX PRO 6000 Blackwell (Server Edition). 96GB זיכרון GDDR7, רוחב פס של 1,597GB/s, עד 600W. ארכיטקטורת Blackwell עם תמיכה ב-FP4, ו-MIG שמחלק כרטיס אחד לעד ארבעה GPU מבודדים. זה גם כרטיס גרפי מלא, כך שאותו שרת יכול גם לרנדר.

NVIDIA H200. 141GB זיכרון HBM3e, רוחב פס של 4.8TB/s, עד 700W (SXM). ארכיטקטורת Hopper עם תמיכה ב-FP8. לפי NVIDIA הוא מהיר פי 1.9 מ-H100 בהרצת Llama 2 70B, בעיקר בזכות זיכרון גדול ומהיר יותר.

NVIDIA B300 (Blackwell Ultra). 288GB זיכרון HBM3e ועד 8TB/s רוחב פס לכל GPU. ארכיטקטורת Blackwell Ultra עם FP4 מובנה, שנבנתה למודלי היסק (Reasoning) ולהגשה בהיקף גדול. בשרת HGX B300 עם 8 כרטיסים הם מחוברים ב-NVLink במהירות 1.8TB/s לכל GPU.

למה זיכרון הוא הדבר החשוב ביותר בהרצת מודלים

כשמודל מייצר טקסט, כל טוקן חדש דורש לקרוא את משקלי המודל מזיכרון ה-GPU. מכאן נובעים שני דברים. ראשית, המשקלים יחד עם ה-KV cache (ההקשר השמור של כל שיחה פעילה) חייבים להיכנס לזיכרון, אחרת המודל לא ירוץ על הכרטיס בכלל. שנית, ברגע שהמודל נכנס, המהירות שכל משתמש רואה נקבעת בעיקר לפי רוחב הפס של הזיכרון ולא לפי כוח החישוב. לכן H200 מהיר בהרבה מ-H100 בהרצת מודלים למרות שכוח החישוב זהה, ולכן ה-8TB/s של B300 משמעותיים.

כלל מהיר לחישוב: מספר הפרמטרים כפול הבייטים לפרמטר (2 ב-16 ביט, 1 ב-FP8, כחצי ב-4 ביט), ועוד מקום להקשר.

• מודלים של 8B עד 32B: נכנסים בקלות ל-RTX PRO 6000 בכל דיוק, עם הרבה מקום למשתמשים במקביל.
• 70B ב-FP8 (כ-70GB): נכנס ל-RTX PRO 6000 עם הקשר בינוני, או ל-H200 עם הקשר ארוך ועומס גבוה.
• 70B ב-16 ביט (כ-140GB): צפוף מדי ל-H200 אחרי שמוסיפים הקשר; נוח על B300.
• 120B עד 200B ב-FP8, או מודלי MoE גדולים: B300.
• מודלים של 400B ומעלה: שני B300 או יותר, או כמה H200 מחוברים ב-NVLink.

איזה כרטיס לאיזו משימה

בחרו RTX PRO 6000 כשאתם מגישים מודלים קטנים ובינוניים (צ’טבוטים, RAG, עוזרי קוד, סוכנים) של עד 70B בקוונטיזציה, מריצים יצירת תמונות או וידאו כמו Stable Diffusion או Flux, צריכים גרפיקה ו-AI על אותו שרת, או רוצים לחלק כרטיס לארבעה עם MIG עבור כמה מודלים קטנים. הוא נותן הכי הרבה זיכרון לכל דולר מבין השלושה.

בחרו H200 כשאתם מגישים בייצור מודלים בסדר גודל 70B עם פרומפטים ארוכים ומשתמשים רבים במקביל, צריכים את סביבת התוכנה הבשלה של Hopper ו-FP8, או מכווננים מודלים על אותה חומרה. רוחב הפס שלו גדול פי שלושה בערך מזה של RTX PRO 6000, כך שכל משתמש מקבל טוקנים מהר יותר.

בחרו B300 כשהמודל גדול מדי לכל כרטיס אחר, כשאתם רוצים להריץ מודל 70B באיכות מלאה של 16 ביט על כרטיס אחד, כשאתם מגישים מודלי היסק עם תשובות ארוכות מאוד, או כשאתם רוצים לארח כמה מודלים על GPU אחד. התמיכה ב-FP4 מאפשרת לו להכיל ולהגיש מודלים גדולים עוד יותר בעלות נמוכה יותר לטוקן.

ומה עם המחיר?

השאלה הנכונה היא עלות לטוקן, לא עלות לשעה. GPU גדול יותר שמשרת הרבה יותר משתמשים במקביל יכול לצאת זול יותר לטוקן מכרטיס קטן ועמוס, ו-GPU קטן שהמודל נכנס אליו זול בהרבה מכרטיס גדול שעומד חצי ריק. התחילו מהכרטיס הקטן ביותר שהמודל נכנס אליו עם אורך ההקשר שאתם צריכים, מדדו טוקנים בשנייה בעומס אמיתי, ואז השוו. המדריך שלנו על העלות של הרצת AI בייצור מראה את החישוב.

מדריך החלטה מהיר

• מודל מתחת ל-32B, או יצירת תמונות/וידאו: RTX PRO 6000.
• 70B בקוונטיזציה, תעבורה בינונית: RTX PRO 6000.
• 70B עם הקשר ארוך ועומס גבוה: H200.
• 70B ב-16 ביט, מודלים של 100B ומעלה, MoE, כמה מודלים על כרטיס: B300.
• אימון או כיוונון של מודלים גדולים: H200 או B300.

שכירת H200, B300 ו-RTX PRO 6000 ב-OMC Cloud

OMC Cloud מציעה את שלושתם כ-GPU ייעודיים עם גישה ישירה (Passthrough), בחיוב לפי שעה או לפי חודש, לצד L4, L40S, RTX 6000 Ada, A16 ו-H100. השרתים מגיעים עם CUDA, PyTorch ו-TensorFlow מוגדרים מראש, אחסון NVMe Gen 5, SLA של 99.95% זמינות ותמיכה 24/7 ממומחי GPU, כולל במרכזי הנתונים בישראל. ראו את עמוד שרתי ה-GPU או את מדריך ה-GPU שלנו.

מקורות: מפרטים רשמיים של NVIDIA ל-H200, ל-RTX PRO 6000 Blackwell Server Edition ול-HGX B300.