תכנון מעבדי TPU ב-GKE

בדף הזה מוסבר איך לתכנן את השימוש ביחידות לעיבוד טנסורים (TPU) ב-Google Kubernetes Engine‏ (GKE) כדי להפחית את הסיכון לבעיות בהגדרת ה-TPU, לשגיאות שקשורות לזמינות או להפרעות שקשורות לחריגה מהמכסה.

לפני שמשתמשים ב-TPU ב-GKE, חשוב להכיר את ההגדרות והטרמינולוגיה של TPU ב-GKE.

תכנון ההגדרה של TPU

כדי לעבוד עם TPU באשכולות GKE, צריך לתכנן את ההגדרה שלהם. מומלץ לפעול לפי השלבים הבאים:

1. בחירת מצב פעולה של GKE: הפעלת עומסי העבודה ב-TPU באשכול GKE Autopilot או Standard.

   שיטה מומלצת:

   מומלץ להשתמש באשכול Autopilot כדי ליהנות מחוויית Kubernetes מנוהלת לחלוטין.

2. בחירת גרסת ה-TPU: לסוגים שונים של TPU יש יכולות שונות, כמו יחסי עלות-ביצועים, תפוקת אימון וחביון שירות. סוגי ה-TPU משפיעים על קיבולות המעבד והזיכרון הזמינות.

3. אימות הזמינות של TPU: מכשירי TPU זמינים באזורים ספציפיים Google Cloud כדי להשתמש בסוג TPU בעומס העבודה שלכם ב-GKE, האשכול צריך להיות באזור נתמך עבור הסוג הזה.

4. Choose the TPU Topology: The physical arrangement of the TPUs within a TPU slice. בוחרים טופולוגיה שתואמת לדרישות המקביליות של המודל.

אפשר להשתמש בטבלאות ההפניה שבדף הזה כדי לזהות אם מאגרי הצמתים שלכם הם צמתים של פרוסות TPU עם מארח יחיד או עם כמה מארחים.

בחירת מצב פעולה של GKE

אפשר להשתמש ב-TPU במצבי הפעולה הזמינים של GKE לאשכולות:

• מצב רגיל: אתם מנהלים את התשתית הבסיסית, כולל הגדרת הצמתים האישיים.
• מצב Autopilot (מומלץ): GKE מנהל את התשתית הבסיסית, כמו הגדרת הצמתים, שינוי הגודל האוטומטי, השדרוגים האוטומטיים, הגדרות האבטחה הבסיסיות והגדרת הרשת הבסיסית. ב-Autopilot, בוחרים סוג וטופולוגיה של TPU, ואז מציינים אותם במניפסט של Kubernetes. ‫GKE מנהל את הקצאת הצמתים עם TPU ואת התזמון של עומסי העבודה.

כדי לבחור את מצב הפעולה של GKE שהכי מתאים לעומסי העבודה שלכם, אפשר לעיין במאמר בחירת מצב פעולה של GKE.

בחירת אפשרות לשימוש ב-TPU

כשמתכננים את הגדרות ה-TPU ב-GKE, צריך לבחור אפשרות צריכה שתתאים לצרכים של עומס העבודה. האפשרות שתבחרו לצריכת משאבים תשפיע על גרסאות ה-TPU שזמינות לכם ועל המכסה שתצטרכו להגדיר. ‫GKE מציע את האפשרויות הבאות לשימוש ב-TPU, כדי לעזור לכם לשפר את הקצאת המשאבים והעלויות תוך שמירה על ביצועי עומסי העבודה:

• Flex-start: כדי להקצות מכונות וירטואליות מסוג Flex-start למשך עד שבעה ימים, כאשר GKE מקצה את החומרה באופן אוטומטי על בסיס הזמינות. מידע נוסף מופיע במאמר מידע על הקצאת GPU,‏ TPU ו-H4D במצב הקצאה עם הפעלה גמישה.
• מכונות וירטואליות (VM) זמניות מסוג Spot: כדי להקצות מכונות וירטואליות זמניות מסוג Spot, אפשר לקבל הנחות משמעותיות, אבל המכונות האלה יכולות להיפסק בכל שלב, עם אזהרה של 30 שניות מראש. מידע נוסף זמין במאמר בנושא מכונות וירטואליות מסוג Spot.
• מקום שמור לעתיד ל-90 יום (במצב לוח שנה): כדי להקצות משאבי TPU לתקופה של עד 90 יום, לפרק זמן מוגדר. מידע נוסף זמין במאמר בנושא שליחת בקשה ל-TPU עם מקום שמור לעתיד במצב יומן.
• הזמנות של TPU: כדי לבקש מקום שמור לעתיד למשך שנה או יותר.
• על פי דרישה: כדי לצרוך TPU בלי לתכנן מראש את הקיבולת. לפני שמבקשים משאבים, צריך לוודא שיש מספיק מכסת שימוש לפי דרישה לסוג ולכמות הספציפיים של מכונות TPU וירטואליות. האפשרות 'על פי דרישה' היא האפשרות הכי גמישה לשימוש במשאבים, אבל אין ערובה לכך שיהיו מספיק משאבים על פי דרישה כדי לספק את הבקשה שלכם.

אם לא מציינים אפשרות אחרת, מודל הצריכה שמוגדר כברירת מחדל ל-TPU ב-GKE הוא לפי דרישה. כדי לבחור את אפשרות הצריכה שתתאים לדרישות של עומס העבודה שלכם, אפשר לעיין במאמר מידע על אפשרויות צריכת מאיצים לעומסי עבודה של AI/ML ב-GKE.

בחירת גרסת ה-TPU

למכונות הווירטואליות בפרוסת TPU יש את המאפיינים הטכניים הבאים.

‫Ironwood (TPU7x) TPU Trillium TPU v5p TPU v5e TPU v4 TPU v3 ניקוי הכול

מגבלות

כשבוחרים את ה-TPU לשימוש, חשוב להביא בחשבון את המגבלות האלה:

• ל-Ironwood‏ (TPU7x) יש את המגבלות הבאות:

  • אשכולות רגילים בגרסה 1.34.0-gke.2201000 ואילך.
  • אשכולות Autopilot בגרסה 1.34.1-gke.3084001 ואילך.
  • יש תמיכה רק ב-Google Cloud Hyperdisk Balanced ו-Hyperdisk ML.

• ‫TPU Trillium זמין בגרסאות הבאות:

  • אשכולות רגילים בגרסה 1.31.1-gke.1846000 ואילך.
  • אשכולות במצב Autopilot בגרסה 1.31.2-gke.1115000 ואילך.

• ‫TPU Trillium לא תומך בהגדרה של SMT לערך 2 ב-ct6e-standard-8t.

• התכונה 'שינוי גודל אוטומטי של TPU v5p' נתמכת באשכולות GKE עם מישורי בקרה שפועלים לפחות בגרסה 1.29.2-gke.1035000 או 1.28.7-gke.1020000.

• כדי להשתמש בהזמנות של קיבולת, צריך להשתמש בהזמנה ספציפית.

• אפשר להריץ עד 256 פודים במכונה וירטואלית אחת של TPU.

• הקצאת עלויות ב-GKE ומדידת השימוש לא כוללות נתונים על השימוש ב-TPU או על העלויות שלהם.

• המידרוג האוטומטי של האשכול מבטל פעולות של הגדלת מספר הצמתים במאגר צמתים של TPU שנשארות במצב המתנה יותר מ-10 שעות. המידרוג האוטומטי של האשכול מנסה שוב לבצע פעולות כאלה של הגדלת הקיבולת כשהמשאבים זמינים. ההתנהגות הזו עלולה להקטין את הסיכוי לקבל TPU אם לא משתמשים בהזמנות.

• אין תמיכה בצמתי Ubuntu.

• ארכיטקטורת TPU Node הוצאה משימוש. ‫TPU v3 היא הגרסה היחידה של TPU שעדיין תומכת בארכיטקטורת TPU Node ב-GKE.

אימות הזמינות של TPU ב-GKE

מכשירי TPU זמינים באזורים ספציפיים Google Cloud . כדי להשתמש בסוג TPU באשכול GKE, האשכול צריך להיות באזור נתמך עבור הסוג הזה.

‫Ironwood (TPU7x) TPU Trillium TPU v5p TPU v5e TPU v4 TPU v3 ‫asia-northeast1-b europe-west4-a europe-west4-b us-central1-a us-central1-b us-central2-b us-east1-d us-east5-a us-east5-b us-east5-c us-south1-a us-west1-c us-west4-a southamerica-west1-a ביטול הבחירה

בחירת טופולוגיה

אחרי שבוחרים גרסת TPU, בוחרים טופולוגיה נתמכת. טופולוגיה מגדירה את הסידור הפיזי של שבבי TPU בתוך פרוסת TPU. טופולוגיות גדולות יותר מספקות יותר שבבי TPU, מה שמאפשר עיבוד מקביל יותר כדי לאמן מודלים גדולים מהר יותר או עם מערכי נתונים גדולים יותר.

‫GKE מנהל באופן אוטומטי את הקצאת המכונות הווירטואליות, אבל כדי להבין איך מספר השבבים בטופולוגיה קשור למכונות הווירטואליות הבסיסיות, צריך להבין את ההבדל בין מאגרי צמתים עם מארח יחיד לבין מאגרי צמתים עם כמה מארחים:

• ‫Single-host: פרוסת TPU שבה כל הצ'יפים נמצאים במכונה וירטואלית אחת. המשחקים האלה כוללים מספר קטן יותר של צ'יפים, בדרך כלל ארבעה צ'יפים או פחות.
• ‫Multi-host: פרוסת TPU שבה השבבים מפוזרים על פני כמה מכונות וירטואליות. זה נפוץ ברוב עומסי העבודה של TPU בקנה מידה גדול.

אם תבקשו טופולוגיה שבה המספר הכולל של שבבים חורג ממספר השבבים שזמינים במכונה וירטואלית אחת לגרסת ה-TPU הזו, GKE יקצה אותה באופן אוטומטי כסביבה מרובת מארחים. בתרחיש הזה, GKE מפעיל כמה צמתים כדי לחלק את השבבים.

לדוגמה, סוג המכונה ct6e-standard-4t והטופולוגיה 4x4:

• לסוג המכונה ct6e-standard-4t יש 4 שבבים לכל מכונה וירטואלית.
• הטופולוגיה 4x4 דורשת 16 שבבים בסך הכול (4 * 4).
• מכיוון ש-16 (מספר השבבים בטופולוגיה) גדול מ-4 (מספר השבבים בכל מכונת VM), ההגדרה הזו יוצרת מאגר צמתים של פרוסת TPU עם כמה מארחים. ‫GKE יפיץ את 16 השבבים בין 4 מכונות וירטואליות.

כדי לבחור את סוג מכונת ה-TPU והטופולוגיה לתרחיש השימוש שלכם, תוכלו להיעזר בטבלה הבאה:

‫Ironwood (TPU7x) TPU Trillium TPU v5p TPU v5e TPU v4 TPU v3 מארח יחיד כמה מארחים ביטול הבחירה

הגדרות מתקדמות

בקטעים הבאים מפורטות שיטות מומלצות לתזמון של הגדרות מתקדמות של TPU.

אזורי AI

אזורי AI הם אזורים מיוחדים שמשמשים לאימון AI/ML ולעומסי עבודה של היקש. האזורים האלה מספקים קיבולת משמעותית של מאיצי ML. מידע נוסף זמין במאמרי העזרה בנושא אזורי AI.

במסמך הזה ובמסמכי התיעוד של GKE, המונחים 'אזורים רגילים' או 'אזורים' מתייחסים לאזורים שאינם אזורי AI בתוך Google Cloud אזור.

לפני שמשתמשים באזור AI ב-GKE, כדאי לקחת בחשבון את המאפיינים הבאים:

• אזורי ה-AI נפרדים פיזית מאזורים רגילים כדי לספק נפח אחסון וכוח נוספים. ההפרדה הזו עלולה לגרום לזמן אחזור ארוך יותר, אבל בדרך כלל זה לא משפיע על עומסי עבודה של AI/ML.
• לאזורי AI יש סיומת עם הסימון ai. לדוגמה, אזור AI באזור us-central1 נקרא us-central1-ai1a.
• בשלב הזה יש תמיכה רק במכונות וירטואליות של TPU.
• מישור הבקרה של האשכול פועל באזור רגיל אחד או יותר באותו אזור כמו אזור ה-AI.

• אפשר להריץ מכונות וירטואליות בלי יחידות TPU מצורפות באזור AI רק אם עומדים בדרישות הבאות:

  • כבר מריצים עומסי עבודה אחרים שמשתמשים במכונות וירטואליות של TPU באותו אזור.
  • מכונות ה-VM שאינן TPU הן מכונות VM במודל Spot, מכונות שמשוריינות למקום שמור או מכונות שמשויכות למאגר צמתים עם יחס ספציפי בין מאיץ ל-VM לשימוש כללי.

• אזורי AI חולקים רכיבים, כמו חיבורי רשת ופריסות תוכנה, עם אזורים רגילים שיש להם את אותו סיומת באותו אזור. לסביבות עבודה עם זמינות גבוהה, מומלץ להשתמש באזורים שונים. לדוגמה, אל תשתמשו גם ב-us-central1-ai1a וגם ב-us-central1-a כדי להשיג זמינות גבוהה.

כברירת מחדל, GKE לא פורס את עומסי העבודה שלכם באזורי AI. כדי להשתמש באזור AI, צריך להגדיר אחת מהאפשרויות הבאות:

• ‫(מומלץ) ComputeClasses: הגדרת העדיפות הכי גבוהה לבקשת TPU על פי דרישה באזור AI. בעזרת ComputeClasses אפשר להגדיר רשימה מתועדפת של תצורות חומרה לעומסי העבודה. לדוגמה, ראו מידע על ComputeClasses.
• Node auto-provisioning: use a nodeSelector or nodeAffinity in your Pod specification to instruct node auto-provisioning to create a node pool in the AI zone. אם עומס העבודה לא מכוון באופן מפורש לאזור AI, הקצאה אוטומטית של צמתים תתייחס רק לאזורים רגילים או לאזורים מ---autoprovisioning-locations כשיוצרים מאגרי צמתים חדשים. ההגדרה הזו עוזרת לוודא שעומסי עבודה שלא מריצים מודלים של AI/ML יישארו באזורים רגילים, אלא אם תגדירו אחרת באופן מפורש. דוגמה למניפסט שמשתמש ב-nodeSelector מופיעה במאמר הגדרת אזורי ברירת המחדל לצמתים שנוצרו אוטומטית.
• ‫GKE Standard: אם אתם מנהלים ישירות את מאגרי הצמתים, השתמשו באזור AI בדגל --node-locations כשאתם יוצרים מאגר צמתים. לדוגמה, אפשר לעיין במאמר בנושא פריסת עומסי עבודה של TPU ב-GKE Standard.

התאמה אוטומטית לעומס (automatic scaling) של מעבדי TPU ב-GKE

‫GKE תומך ביחידות לעיבוד טנסורים (TPU) כדי להאיץ עומסי עבודה של למידת מכונה. גם מאגר צמתים של פרוסת TPU במארח יחיד וגם מאגר צמתים של פרוסת TPU במארחים מרובים תומכים בהתאמה אוטומטית לעומס (autoscaling) ובהקצאת משאבים אוטומטית.

אם מגדירים את הדגל --enable-autoprovisioning באשכול GKE,‏ GKE יוצר או מוחק מאגרי צמתים של פרוסות TPU עם מארח יחיד או עם כמה מארחים, עם גרסת TPU וטופולוגיה שעומדות בדרישות של עומסי עבודה בהמתנה.

כשמשתמשים ב---enable-autoscaling, מערכת GKE משנה את גודל מאגר הצמתים בהתאם לסוג שלו, באופן הבא:

• מאגר צמתים של פרוסת TPU במארח יחיד: מערכת GKE מוסיפה או מסירה צמתי TPU במאגר הצמתים הקיים. מאגר הצמתים יכול להכיל כל מספר של צמתי TPU בין אפס לבין הגודל המקסימלי של מאגר הצמתים, כפי שנקבע על ידי הדגלים --max-nodes ו---total-max-nodes. כשמאפשרים שינוי גודל של מאגר הצמתים, לכל צומתי ה-TPU במאגר הצמתים יש את אותו סוג מכונה ואותה טופולוגיה. במאמר יצירת מאגר צמתים מוסבר איך ליצור מאגר צמתים של פרוסות TPU במארח יחיד.

• מאגר צמתים של פרוסת TPU במארחים מרובים: מערכת GKE מבצעת הגדלה אטומית של מאגר הצמתים מאפס למספר הצמתים שנדרש כדי להתאים לטופולוגיית ה-TPU. לדוגמה, אם יש מאגר צמתים של TPU עם סוג מכונה ct5lp-hightpu-4t וטופולוגיה של 16x16, מאגר הצמתים מכיל 64 צמתים. השימוש בשינוי הגודל האוטומטי ב-GKE עוזר לוודא שבמאגר הצמתים הזה יש בדיוק 0 או 64 צמתים. כשמצמצמים את הקיבולת, GKE מוציא את כל הפודים המתוזמנים ומרוקן את כל מאגר הצמתים לאפס. במאמר יצירת מאגר צמתים מוסבר איך ליצור מאגר צמתים של פרוסת TPU עם כמה מארחים.

הקצאת נפח אחסון נוסף לפלח TPU

מכונת VM בפרוסת TPU כוללת כברירת מחדל דיסק אתחול בנפח 10GB. אם חלוקת ה-TPU שלכם זקוקה לאחסון נוסף לאימון או לעיבוד מקדים, או אם אתם צריכים לשמור נקודות ביקורת, אתם יכולים להשתמש באחסון Google Cloud Hyperdisk או דיסק אחסון מתמיד מאוזן אם הוא זמין ל-TPU שלכם. מידע נוסף על סוגי הדיסקים הנתמכים בכל גרסה של TPU זמין במאמר תמיכה ב-TPU ב-Google Cloud Hyperdisk ובדיסק מתמשך.

מעבד (CPU) לאשכולות רגילים

הקטע הזה לא רלוונטי לאשכולות Autopilot כי GKE ממקם כל פרוסת TPU בצומת משלה. מידע נוסף על אופן הפעולה של TPU במצב טייס אוטומטי

במקרים של אשכולות רגילים, כדאי להשתמש בשיטות המומלצות הבאות לתזמון.

כדי לתזמן עומס עבודה שאינו TPU במכונה וירטואלית בצומת של פרוסת TPU, צריך לוודא ש-GKE Pod יכול לסבול את ה-taint‏ google.com/tpu. אם רוצים לפרוס את עומס העבודה לצמתים ספציפיים, צריך להשתמש בבוררי צמתים.

ניהול משאבים ועדיפות ב-Kubernetes מתייחס למכונות וירטואליות ב-TPU באופן זהה לסוגים אחרים של מכונות וירטואליות. כדי לתת עדיפות בתזמון ל-Pods שנדרשים ל-TPU על פני Pods אחרים באותם צמתים, צריך לבקש את השימוש המקסימלי ב-CPU או בזיכרון עבור חלקי ה-TPU האלה. לפרוסות TPU עם עדיפות נמוכה צריך להיות:

1. מגדירים בקשות נמוכות של מעבד וזיכרון כדי לוודא שלצומת יש מספיק משאבים להקצאה לעומסי העבודה של TPU. מידע נוסף זמין במאמר איך Kubernetes מיישם בקשות ומגבלות של משאבים.
2. כדי לוודא שרכיבי ה-Pod יכולים להשתמש בכל המחזורים שלא נמצאים בשימוש, צריך להגדיר את המגבלה על השימוש ביחידת העיבוד המרכזית (CPU) ללא הגבלה.
3. כדאי להגדיר מגבלות זיכרון מתאימות כדי להבטיח ש-Pods יוכלו לפעול בצורה תקינה בלי להסתכן בהוצאה של node-pressure.

אם פוד של Kubernetes לא מבקש מעבד וזיכרון (גם אם הוא מבקש TPU),‏ Kubernetes מחשיב אותו כפוד שפועל כמיטב היכולת, ואין ערובה לכך שהוא צריך מעבד וזיכרון. ההתחייבויות האלה חלות רק על Pods שמבקשים באופן מפורש CPU וזיכרון. כדי לתזמן Kubernetes באופן ספציפי, צריך להגדיר את צורכי ה-Pod עם בקשת מעבד (CPU) וזיכרון מפורשת. מידע נוסף זמין במאמר בנושא ניהול משאבים עבור פודים וקונטיינרים.

מידע נוסף על שיטות מומלצות זמין במאמר שיטות מומלצות ל-Kubernetes: בקשות ומגבלות של משאבים.

הפחתת ההפרעות בעומס העבודה

אם אתם משתמשים ב-TPU כדי לאמן מודל של למידת מכונה ועומס העבודה שלכם מופסק, כל העבודה שבוצעה מאז נקודת הבדיקה האחרונה אובדת. כדי להקטין את הסיכוי להפרעה בעומס העבודה, מומלץ:

• הגדרת עדיפות גבוהה יותר למשימה הזו מאשר לכל שאר המשימות: אם המשאבים מוגבלים, מתזמן GKE מבצע קדימה של משימות בעדיפות נמוכה יותר כדי לתזמן משימה בעדיפות גבוהה יותר. כך גם תוכלו לוודא שעומס העבודה בעדיפות גבוהה יקבל את כל המשאבים שהוא צריך (עד למספר המשאבים הכולל שזמין באשכול). מידע נוסף זמין במאמר בנושא עדיפות של Pod ודחיקה.
• הגדרת החרגה מתחזוקה: החרגה מתחזוקה היא חלון זמן חד-פעמי שבו אסור לבצע תחזוקה אוטומטית. מידע נוסף זמין במאמר בנושא החרגות מתחזוקה.
• שימוש ב-Pods עם זמן ריצה מורחב ב-Autopilot: אפשר להשתמש ב-Pods עם זמן ריצה מורחב כדי לקבל תקופת חסד של עד שבעה ימים לפני ש-GKE יסיים את ה-Pods שלכם לצורך הקטנת הקיבולת או שדרוגי צמתים.
• שימוש בתזמון אוספים ב-TPU Trillium: שימוש באוספים כדי לציין שמאגר צמתים של פרוסת TPU הוא חלק מעומס עבודה של שרתים. Google Cloud מגביל ומייעל את ההפרעות לפעולות של עומסי עבודה של הסקה. מידע נוסף על תזמון איסוף

ההמלצות האלה עוזרות לצמצם את השיבושים, אבל לא למנוע אותם. לדוגמה, עדיין יכולה להתרחש קדימה בגלל כשל בחומרה או קדימה לצורך איחוי. באופן דומה, הגדרת החרגה של תחזוקה ב-GKE לא מונעת אירועי תחזוקה ב-Compute Engine.

שיטה מומלצת:

מומלץ לשמור נקודות ביקורת לעיתים קרובות ולהוסיף קוד לסקריפט האימון כדי להתחיל מנקודת הביקורת האחרונה כשממשיכים את האימון.

התמודדות עם שיבושים בגלל תחזוקת צמתים

הצמתים של GKE שמארחים את ה-TPU כפופים לאירועי תחזוקה או לשיבושים אחרים שעלולים לגרום לכיבוי הצומת. באשכולות GKE עם מישור הבקרה שפועל בגרסה 1.29.1-gke.1425000 ואילך, אפשר לצמצם את השיבושים בעומסי העבודה על ידי הגדרת GKE להפסקת עומסי העבודה בצורה מסודרת.

כדי להבין, להגדיר ולעקוב אחרי אירועי שיבוש שעשויים להתרחש בצמתי GKE שמריצים עומסי עבודה של AI/ML, אפשר לעיין במאמר ניהול שיבושים בצמתי GKE עבור מעבדי GPU ו-TPU.

מקסום השימוש ב-TPU

כדי להפיק את המקסימום מההשקעה ב-TPU, כדאי לתזמן שילוב של עדיפויות של משימות ולהוסיף אותן לתור כדי למקסם את משך הפעולה של ה-TPU. כדי לתזמן משימות ברמת המשימה ולבצע קדימות, צריך להשתמש בתוסף ל-Kubernetes שמארגן משימות בתורים.

שיטה מומלצת:

אפשר להשתמש ב-Kueue כדי לתזמן את העבודות בתורים.

המאמרים הבאים

• כדי להגדיר Cloud TPU עם GKE, פועלים לפי ההוראות במאמר פריסת עומסי עבודה של TPU ב-GKE.
• שיטות מומלצות לשימוש ב-Cloud TPU למשימות של למידת מכונה.
• איך בונים למידת מכונה בקנה מידה גדול ב-Cloud TPU באמצעות GKE
• הפעלת מודלים גדולים של שפה (LLM) באמצעות KubeRay ב-TPU.