מכסות ב-Earth Engine

סוגי המכסות

בפלטפורמת Earth Engine יש מספר מגבלות על מכסות, כדי להבטיח שהמשאבים יחולקו בצורה הוגנת בין המשתמשים. יש הרבה סוגים שונים של משאבים ב-Earth Engine (חישוב, אחסון וכו'), ולכן יש הרבה סוגים שונים של מכסות.

ההבדל העיקרי בין סוגי המכסות השונים הוא אם אפשר לשנות אותן. בסוגים מסוימים של מכסות, אנחנו יכולים לשנות את המגבלות על בסיס משתמש או על בסיס פרויקט, בעוד שבסוגים אחרים מדובר במגבלות ברמת המערכת שאי אפשר לשנות.

מגבלות מכסה שניתנות להתאמה

המגבלות הבאות חלות על כל פרויקט בנפרד.

בקשות אינטראקטיביות מקבילות

כל פרויקט יכול לשלוח במקביל בקשות אינטראקטיביות עד למגבלת המכסה. אם חורגים מהמגבלה, Earth Engine יחזיר שגיאות מסוג HTTP 429: Too Many Requests. בדרך כלל, ספריית הלקוח של Earth Engine מטפלת בשגיאות האלה. היא עוטפת את הבקשות בהשהיה מעריכית לפני ניסיון חוזר, ומנסה שוב את השאילתה עד שהיא מצליחה. ספריית הלקוח של Earth Engine תנסה לשלוח את הבקשה מחדש עד חמש פעמים.

כדי להימנע מקבלת שגיאות 429, מומלץ להפעיל שמירת נתונים במטמון באפליקציה, למשל באמצעות memcache, כדי להימנע משאילתות מיותרות כשזה אפשרי. אם אתם משתמשים בגרסה ישנה יותר של ספריית הלקוח של Earth Engine שלא מנסה לבצע אוטומטית ניסיון חוזר של שאילתות, או אם שאילתה עדיין לא הושלמה אחרי חמישה ניסיונות חוזרים, יכול להיות שתצטרכו להטמיע השהיה מעריכית לפני ניסיון חוזר (exponential backoff) סביב הבקשות.

קצב הבקשות (QPS)

בנוסף למגבלות על פעולות בו-זמניות, ב-Earth Engine יש מגבלות על קצב בקשות אינטראקטיביות ברמת הפרויקט וברמת המשתמש. אפשר לשנות את ההגדרות האלה ב-Cloud Console.

משימות בו-זמניות של אצווה

משימות אצווה מוגבלות למקבילויות קטנות, כי הן צורכות יותר משאבים מאשר בקשות אינטראקטיביות.

כשמשתמשים ב-Earth Engine למטרות לא מסחריות, מספר המשימות המקסימלי של אצווה שאפשר להריץ בו-זמנית נקבע לפי התוכנית הלא מסחרית שלכם.

כשמשתמשים ב-Earth Engine למטרות מסחריות, מספר משימות האצווה המקסימלי שאפשר להריץ בו-זמנית נקבע לפי תוכנית התמחור, אבל יכול להיות שהוא יוגבל עוד יותר אם תגדירו את מגבלת ההפעלה בו-זמנית של משימות אצווה לכל פרויקט. כברירת מחדל, מגבלת ההפעלה בו-זמנית של משימות באצ' בפרויקט מוגדרת למקסימום המותר לפי תוכנית התשלומים שהוגדרה בחשבון לחיוב של הפרויקט. כדי לראות או לעדכן את המגבלה הזו בפרויקט, אפשר לעיין במסמכי התיעוד של כלי שורת הפקודה.

מכסת האחסון של נכסים

לכל נכס Earth Engine יש גודל אחסון נתונים תואם שנמדד בבייטים. הבעלות על נכסים יכולה להיות של פרויקטים ב-Cloud או של אנשים פרטיים (נכסים מדור קודם), וכל נכס נספר במכסה של הבעלים ב-Earth Engine, במכסה הכוללת של נפח האחסון ובמכסת הנכסים.

כדי להגיש בקשה למכסת אחסון נוספת של נכסים לשימוש לא מסחרי או למטרות מחקר, אפשר לעיין במאמר בנושא שימוש לא מסחרי או למטרות מחקר.

זמן השימוש היומי במכשיר

אם אתם רוצים לשלוט בעלויות, אתם יכולים להגביל את כמות הזמן ב-EECU שפרויקט יכול לצרוך ב-Earth Engine בכל יום. כברירת מחדל, המכסה הזו היא ללא הגבלה. אדמינים של מכסות יכולים להגדיר את המגבלה הזו במסוף Cloud על ידי סינון לפי מדד המכסה earthengine.googleapis.com/daily_eecu_usage_time. אחרי שמגדירים את המכסה הזו, היא צוברת את הזמן שנדרש לביצוע בקשות מוצלחות של Earth Engine של כל המשתמשים בפרויקט. אם חורגים מהמכסה, הבקשות ייכשלו עד שהמכסה תתאפס ביום הבא או עד שהמגבלה תוגדל. פרטים נוספים על הגדרת המכסה הזו זמינים במדריך לאמצעי בקרה על עלויות.

מגבלות מכסה קבועות

מגבלות המכסה האלה מוגדרות ברמת הפלטפורמה, ולכן אי אפשר לשנות אותן על בסיס משתמש או פרויקט. סביר להניח שהם לא ישתנו באופן משמעותי לאורך זמן.

זמן החישוב

לסוגים שונים של בקשות יש משכי זמן מקסימליים שונים, שמפורטים במסמכי התיעוד בנושא סביבות עיבוד.

לקבלת עזרה בתיקון שגיאות שקשורות לזמן קצוב לתפוגה, אפשר לעיין במדריך לניפוי באגים.

הזיכרון שבשימוש לכל בקשה

אם בקשה נכשלת עם השגיאה 'חריגה ממגבלת הזיכרון של המשתמש', המשמעות היא ש-Earth Engine לא הצליח לחשב את התשובה במסגרת הזיכרון שבשימוש המותר. לפלטפורמת החישוב של EE יש כמות מוגבלת של RAM, וכדי להבטיח שהמערכת תישאר יציבה, כל בקשה יכולה להשתמש רק בכמות מסוימת. כמות הזיכרון המקסימלית שזמינה תלויה בסוג הבקשה (למשל, יותר זיכרון זמין למשימת אצווה מאשר למשבצת מפה), אבל אלה מגבלות שחלות על כל המערכת.

לקבלת עזרה בתיקון שגיאות זיכרון, אפשר לעיין במדריך לניפוי באגים.

נתונים מצטברים

במהלך עיבוד הבקשות ב-Earth Engine, אנחנו מפרידים סוגים מסוימים של חישובים משניים, שידוע לנו שהם דורשים הרבה משאבי מחשוב. חישובי המשנה האלה נקראים 'צבירות', והמערכת של EE מטפלת בהם באופן מיוחד. תוצאות הצבירה נשמרות במטמון כדי למנוע חישוב מחדש.

צבירות בו-זמניות

כדי למנוע פיצול לא מבוקר של חישובים, אנחנו מגבילים את מספר הצבירות שמשתמש יכול להריץ בו-זמנית, ואי אפשר לשנות את ההגבלה הזו. אם בקשה נכשלת עם השגיאה 'יותר מדי צבירות בו-זמנית', המשמעות היא שהמבקש הפעיל יותר מדי צבירות בו-זמנית.

לקבלת עזרה בתיקון שגיאות של צבירה מקבילה, אפשר לעיין במדריך לניפוי באגים.

תוצאות צבירה גדולות

אם בקשה נכשלת עם השגיאה 'הערך המחושב גדול מדי', המשמעות היא שהצבירה החזירה תוצאה גדולה מדי מכדי להיכנס למטמון שלנו. מגבלת הגודל על תוצאות מחושבות היא 100MB, וזו מגבלה כלל-מערכתית.

מגבלות על ייבוא טבלאות

הסבר על מגבלות ההעלאה של טבלאות מופיע במדריך לייבוא נתונים של טבלאות.

גודל המטען הייעודי (payload) של הבקשה

גודל השאילתה המקסימלי ל-Earth Engine הוא 10MB. בדרך כלל חורגים מהמגבלה הזו רק כשחלק גדול של נתונים נוספים נכלל ישירות בשאילתה, כמו קובץ shapefile או מבנה GeoJSON ששולבו בשאילתה. במקום זאת, צריך להעלות את האובייקטים האלה ולהפוך אותם לנכס FeatureCollection, ולהפנות אליהם באמצעות מזהה הנכס.

אורך תור המשימות

משימות שממתינות לתזמון (במצב READY) יוצרות את "תור המשימות". כל תור של פרויקט יכול להכיל עד 3,000 משימות. כלומר, אי אפשר להגדיר יותר מ-3,000 משימות במצב READY.

מגבלות המכסה של פונקציות רסטר ב-BigQuery

המכסות הבאות חלות על קריאות ל-Earth Engine מ-BigQuery, למשל כשמשתמשים בפונקציית ה-SQL‏ ST_REGIONSTATS.

זמן שימוש ביחידת קיבולת ב-BigQuery ביום

המכסה של זמן השימוש ביחידות הקיבולת (Slot) ב-BigQuery ליום היא מכסה בהתאמה אישית שמאפשרת להגביל את כמות הזמן שפונקציות רסטר של BigQuery יכולות לצרוך ב-Earth Engine ביום מסוים עבור פרויקט מסוים. המכסה היומית כוללת את הזמן הכולל בכל השאילתות, גם באלה שנכשלו. אפשר לראות את המכסה במדד earthengine.googleapis.com/bigquery_slot_usage_time במסוף Cloud, ואדמין עם הרשאת ניהול מכסות יכול להגדיל או להקטין את הערך. כדי להגדיל את הערך מעבר לערך שמוגדר כברירת מחדל, צריך ליצור בקשה להגדלת המכסה, שתאושר באופן אוטומטי. השינוי אמור להיכנס לתוקף תוך 10 דקות.

אם תחרגו מהמכסה הזו, מערכת BigQuery תחזיר את הודעת השגיאה הבאה:

From Earth Engine: Custom quota exceeded: Your usage exceeded the custom quota for'earthengine.googleapis.com/bigquery_slot_usage_time', which is adjustable by your administrator in the Google Cloud console: https://console.cloud.google.com/quotas/?project=_.

אם חורגים מהמכסה, הקריאות ל-ST_REGIONSTATS ייכשלו עד שהמכסה תתאפס ביום הבא או עד שאדמין יגדיל את המגבלה.