תזמון של קובצי notebook

במאמר הזה מוסבר איך לתזמן ולפרוס מחברות Colab Enterprise ב-BigQuery כדי להפוך משימות שונות לאוטומטיות. לדוגמה, אתם יכולים להריץ מחברות בזמן ובתדירות שצוינו כדי להפוך לאוטומטיות את הפעולות הבאות: אימון מודלים של למידת מכונה, קריאה לממשקי API חיצוניים או הרצת קוד של BigQuery DataFrames.

השינויים שאתם מבצעים ב-Notebook נשמרים אוטומטית, אבל הם זמינים רק לכם ולמשתמשים שיש להם גישה ל-Notebook. כדי לעדכן את לוח הזמנים עם גרסה חדשה של הנוטבוק, צריך לפרוס את הנוטבוק. כשפורסים מחברת, לוח הזמנים שלה מתעדכן עם הגרסה הנוכחית של המחברת. התזמון מריץ את הגרסה האחרונה של המחברת שנפרסה.

כל תזמון של מחברת מופעל באמצעות פרטי הכניסה של המשתמש בחשבון Google או באמצעות חשבון שירות בהתאמה אישית שבוחרים כשמגדירים את התזמון.

נוטבוקים הם נכסי קוד שמבוססים על Dataform. עם זאת, מחברות לא מוצגות ב-Dataform. ‫Dataform כותב את הפלט של הפעלות מתוזמנות של מחברות ל-קטגוריה של Cloud Storage שנבחר במהלך יצירת התזמון.

תזמונים של מחברות משתמשים בזמן ריצה סטנדרטי של E2. יש חיוב על זמני ריצה ב-Colab Enterprise. החיוב על עיבוד בזמן ריצה מתבצע על בסיס סוג המכונה E2. מידע על התמחור של סביבות זמן ריצה רגילות של E2 זמין במאמר בנושא תמחור של Colab Enterprise.

לפני שמתחילים

לפני שמתחילים, צריך ליצור נוטבוק.

הפעלת תזמון של מחברות

כדי לתזמן מחברות, צריך להקצות את התפקידים הבאים לחשבון השירות המותאם אישית שמתכננים להשתמש בו לתזמון מחברות:

משתמש בהרצת Notebook (roles/aiplatform.notebookExecutorUser)
פועלים לפי ההוראות במאמר הקצאת תפקיד יחיד בפרויקט כדי להקצות לחשבון השירות את התפקיד Notebook Executor User בפרויקט שנבחר.
אדמין באחסון (roles/storage.admin)
פועלים לפי ההוראות במאמר הוספת ישות מורשית למדיניות ברמת הקטגוריה כדי להוסיף את חשבון השירות כישות מורשית לקטגוריה של Cloud Storage שבה אתם מתכננים לאחסן את הפלט של הפעלות מתוזמנות של מחברת, ולהעניק לישות המורשית הזו את התפקיד אדמין אחסון.
משתמש בחשבון שירות (roles/iam.serviceAccountUser)
פועלים לפי ההוראות במאמר הקצאת תפקיד יחיד בחשבון שירות כדי להוסיף את חשבון השירות כחשבון משתמש לעצמו. במילים אחרות, מוסיפים את חשבון השירות כחשבון משתמש לאותו חשבון שירות. לאחר מכן, מעניקים לחשבון המשתמש הזה את התפקיד 'משתמש בחשבון שירות'.

בנוסף, צריך להעניק את התפקידים הבאים לסוכן השירות שמוגדר כברירת מחדל ב-Dataform:

יצירת אסימונים בחשבון שירות (roles/iam.serviceAccountTokenCreator)
פועלים לפי ההוראות במאמר הענקת גישה ליצירת אסימונים לחשבון שירות מותאם אישית של Dataform כדי להוסיף את סוכן השירות שמוגדר כברירת מחדל ב-Dataform כחשבון משתמש לחשבון השירות, ולהעניק לחשבון המשתמש הזה את התפקיד 'יצירת אסימונים בחשבון שירות'.
משתמש בחשבון שירות (roles/iam.serviceAccountUser)
פועלים לפי ההוראות במאמר בנושא הענקת או ביטול של כמה תפקידי IAM באמצעות Google Cloud מסוף כדי להעניק את התפקיד Service Account User לסוכן השירות של Dataform שמוגדר כברירת מחדל בחשבון השירות בהתאמה אישית.

מידע נוסף על חשבונות שירות ב-Dataform זמין במאמר מידע על חשבונות שירות ב-Dataform.

דרישות של VPC Service Controls

אם אתם משתמשים ב-VPC Service Controls כדי להגן על מחברות, חשוב לדעת שהרצות מתוזמנות מופעלות על ידי Dataform. כשמגדירים את VPC Service Controls להפעלות מתוזמנות, צריך לוודא שמתקיימות הדרישות הבאות:

שלבי הגדרה מפורטים ושיקולי אבטחה זמינים במאמר הגדרת VPC Service Controls ל-Dataform.

התפקידים הנדרשים

כדי ליצור תזמונים של מחברות, צריך את התפקידים הבאים:

כדי להשתמש בתבניות של סביבת זמן הריצה של נוטבוקים כשמתזמנים נוטבוקים, צריך את התפקיד משתמש בסביבת זמן הריצה של נוטבוקים (roles/aiplatform.notebookRuntimeUser).

כדי לערוך ולמחוק תזמונים של נוטבוקים, צריך להקצות את התפקיד עורך Dataform ‏ (roles/dataform.editor).

כדי לראות את התזמון של הנוטבוק, צריך להקצות את התפקיד צפייה ב-Dataform (roles/dataform.viewer).

כדי לשפר את האבטחה של התזמון, אפשר לקרוא על הטמעה של הרשאות תזמון משופרות.

במאמר תפקידים והרשאות של IAM ב-BigQuery יש מידע נוסף על IAM ב-BigQuery.

מידע נוסף על IAM ב-Dataform זמין במאמר בקרת גישה באמצעות IAM.

יצירת לוח זמנים

כדי ליצור לוח זמנים למחברת, פועלים לפי השלבים הבאים:

חלונית Explorer

  1. במסוף Google Cloud , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

    אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

  3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Notebooks.

  4. לוחצים על שם הנוטבוק שרוצים לתזמן. אפשר להשתמש בתכונת החיפוש או במסננים כדי למצוא את המחברת.

  5. בסרגל הכלים של Notebook, לוחצים על תזמון.

    אפשר גם ללחוץ על תזמון ואז על יצירת לוח זמנים.

  6. בחלונית Schedule Notebook, בשדה Schedule name, מזינים שם לתזמון.

  7. בקטע Authentication (אימות), מאשרים את המחברת באמצעות פרטי הכניסה של משתמש בחשבון Google או באמצעות חשבון שירות.

    • כדי להשתמש בפרטי הכניסה של המשתמש בחשבון Google, בוחרים באפשרות Execute with my user credentials (הפעלה עם פרטי הכניסה של המשתמש שלי).
    • כדי להשתמש בחשבון שירות, בוחרים באפשרות Execute with selected service account ואז בוחרים חשבון שירות.

  8. בקטע Notebook options (אפשרויות של מחברת), בשדה Runtime template (תבנית זמן ריצה), בוחרים תבנית זמן ריצה של נוטבוק של Colab או את מפרטי ברירת המחדל של זמן הריצה. פרטים על יצירת תבנית של זמן ריצה של נוטבוק של Colab זמינים במאמר יצירת תבנית של זמן ריצה.

  9. בשדה Cloud Storage bucket, לוחצים על Browse ובוחרים או יוצרים קטגוריה של Cloud Storage.

    לחשבון השירות שנבחר צריך להיות מוקצה תפקיד ה-IAM‏ Storage Admin (roles/storage.admin) בדלי שנבחר. מידע נוסף זמין במאמר בנושא הפעלת תזמון של מחברות.

  10. בקטע Schedule frequency:

    1. בתפריט Repeats (חזרה), בוחרים את התדירות של הפעלות מתוזמנות של מחברות.
    2. בשדה At time, מזינים את השעה להפעלות המתוזמנות של קובץ ה-notebook.
    3. בתפריט אזור זמן, בוחרים את אזור הזמן של לוח הזמנים.

  11. לוחצים על יצירת לוח זמנים. אם בחרתם בשיטת האימות Execute with my user credentials (ביצוע באמצעות פרטי הכניסה של המשתמש שלי), אתם צריכים לתת הרשאה לחשבון Google שלכם.

כשיוצרים את לוח הזמנים, הגרסה הנוכחית של ה-notebook נפרסת באופן אוטומטי. כדי לעדכן את לוח הזמנים עם גרסה חדשה של הנוטבוק, מפעילים את הנוטבוק.

הגרסה האחרונה של המחברת שנפרסה תפעל במועד ובתדירות שנבחרו.

הדף קביעת הפגישה

  1. נכנסים לדף Scheduling במסוף Google Cloud .

    מעבר ל'תזמון'

  2. לוחצים על יצירה ובוחרים באפשרות תזמון מחברת בתפריט.

  3. בחלונית Schedule notebook, בשדה Notebook, בוחרים את ה-Notebook שרוצים לתזמן.

  4. בשדה שם לוח הזמנים, מזינים שם ללוח הזמנים.

  5. בקטע Authentication (אימות), מאשרים את המחברת באמצעות פרטי הכניסה של המשתמש בחשבון Google או באמצעות חשבון שירות.

    • כדי להשתמש בפרטי הכניסה של המשתמש בחשבון Google, בוחרים באפשרות Execute with my user credentials (הפעלה עם פרטי הכניסה של המשתמש שלי).
    • כדי להשתמש בחשבון שירות, בוחרים באפשרות Execute with selected service account ואז בוחרים חשבון שירות.

  6. בקטע Notebook options (אפשרויות של מחברת), בשדה Runtime template (תבנית זמן ריצה), בוחרים תבנית זמן ריצה של נוטבוק של Colab או את מפרטי ברירת המחדל של זמן הריצה. פרטים על יצירת תבנית של זמן ריצה של נוטבוק של Colab זמינים במאמר יצירת תבנית של זמן ריצה.

  7. בשדה Cloud Storage bucket, לוחצים על Browse ובוחרים או יוצרים קטגוריה של Cloud Storage.

    לחשבון השירות שנבחר צריך להיות מוקצה תפקיד ה-IAM‏ Storage Admin (roles/storage.admin) בדלי שנבחר. מידע נוסף זמין במאמר בנושא הפעלת תזמון של מחברות.

  8. בקטע Schedule frequency:

    1. בתפריט Repeats (חזרה), בוחרים את התדירות של הפעלות מתוזמנות של מחברות.
    2. בשדה At time, מזינים את השעה להפעלות המתוזמנות של קובץ ה-notebook.
    3. בתפריט אזור זמן, בוחרים את אזור הזמן של לוח הזמנים.

  9. לוחצים על יצירת לוח זמנים. אם בחרתם בשיטת האימות Execute with my user credentials (ביצוע באמצעות פרטי הכניסה של המשתמש שלי), אתם צריכים לתת הרשאה לחשבון Google שלכם.

כשיוצרים את לוח הזמנים, הגרסה הנוכחית של ה-notebook נפרסת באופן אוטומטי. כדי לעדכן את לוח הזמנים עם גרסה חדשה של הנוטבוק, מפעילים את הנוטבוק.

הגרסה האחרונה של המחברת שנפרסה תפעל במועד ובתדירות שנבחרו.

איך נותנים הרשאה לחשבון Google

כדי לאמת את המשאב באמצעות פרטי הכניסה של המשתמש בחשבון Google, צריך להעניק באופן ידני הרשאה לצינורות של BigQuery לקבל את טוקן הגישה לחשבון Google ולגשת לנתוני המקור בשמכם. אתם יכולים לתת אישור ידני באמצעות ממשק תיבת הדו-שיח של OAuth. אם בוחרים באחת מאפשרויות הגישה המורחבת, צריך להעניק גישה לשירותים האלה – למשל, Google Drive או Knowledge Catalog.

צריך לתת הרשאה לצינורות של BigQuery רק פעם אחת.

כדי לבטל את ההרשאה שנתתם:

  1. עוברים אל הדף של החשבון ב-Google.
  2. לוחצים על BigQuery Pipelines.
  3. לוחצים על הסרת הגישה.

כדי לשנות את הבעלים של תזמון המחברת על ידי עדכון פרטי הכניסה, צריך גם אישור ידני אם הבעלים החדש של חשבון Google מעולם לא יצר תזמון.

פריסת נוטבוק

כשפורסים מחברת, לוח הזמנים שלה מתעדכן לגרסה הנוכחית של המחברת. התזמון מריץ את הגרסה האחרונה של המחברת שנפרסה.

אם יש לכם תזמון למחברת הזו, כשאתם עורכים את המחברת, BigQuery מציג לכם הנחיה לפרוס את השינויים כדי לעדכן את התזמון.

כדי לפרוס מחברת, פועלים לפי השלבים הבאים:

  1. במסוף Google Cloud , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

  3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Notebooks.

  4. לוחצים על שם המחברת שנבחרה.

  5. לוחצים על פריסה.

לוח הזמנים המתאים מתעדכן עם הגרסה הנוכחית של ה-notebook. הגרסה האחרונה של המחברת שנפרסה תפעל בזמן המתוזמן.

הפעלה ידנית של מחברת שנפרסה

כשמריצים מחברת שנפרסה לפי לוח זמנים מוגדר באופן ידני, BigQuery מריץ את המחברת שנפרסה פעם אחת, בלי קשר ללוח הזמנים.

כדי להריץ מחברת שנפרסה באופן ידני:

  1. נכנסים לדף Scheduling במסוף Google Cloud .

    מעבר ל'תזמון'

  2. לוחצים על השם של לוח הזמנים של המחברת שנבחרה.

  3. בדף פרטי התזמון, לוחצים על הפעלה.

הצגת כל לוחות הזמנים

כדי לראות את כל התזמונים של מחברות בפרויקט, פועלים לפי השלבים הבאים:

  1. נכנסים לדף Scheduling במסוף Google Cloud .

    מעבר ל'תזמון'

  2. אופציונלי: כדי להציג עמודות נוספות עם פרטים על התזמון של המחברת, לוחצים על Column display options, בוחרים עמודות ולוחצים על OK.

הצגת פרטי לוח הזמנים

אפשר לראות את הפרטים של לוח זמנים שנבחר בחלונית כלי המחקר או בדף תזמון.

כדי לראות את פרטי לוח הזמנים של מחברת שנבחרה:

חלונית Explorer

  1. נכנסים לדף BigQuery במסוף Google Cloud .

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

  3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Notebooks.

  4. לוחצים על שם המחברת שנבחרה.

  5. בסרגל הכלים של Notebook, לוחצים על תזמון.

    לחלופין, לוחצים על תזמון:

    חלונית התזמון של ה-notebook.

הדף קביעת הפגישה

  1. נכנסים לדף Scheduling במסוף Google Cloud .

    מעבר ל'תזמון'

  2. לוחצים על השם של לוח הזמנים של המחברת שנבחרה.

צפייה בהרצות קודמות

אפשר לראות את ההרצות הקודמות של תזמון notebook נבחר בחלונית Explorer או בדף Scheduling.

כדי לראות את ההרצות הקודמות של לוח זמנים שנבחר של מחברת:

חלונית Explorer

  1. במסוף Google Cloud , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

  3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Notebooks.

  4. לוחצים על שם המחברת שנבחרה.

  5. לוחצים על תזמון ואז על הצגת הפעלות קודמות.

הדף קביעת הפגישה

  1. נכנסים לדף Scheduling במסוף Google Cloud .

    מעבר ל'תזמון'

  2. לוחצים על השם של לוח הזמנים של המחברת שנבחרה.

  3. בדף פרטי התזמון, בקטע הפעלות קודמות, בודקים את ההפעלות הקודמות.

  4. אופציונלי: כדי לרענן את רשימת ההרצות הקודמות, לוחצים על רענון.

השבתת לוח זמנים

כדי להשהות הפעלות מתוזמנות של מחברת נבחרת בלי למחוק את התזמון, אפשר להשבית את התזמון.

כדי להשבית תזמון של notebook שנבחר, פועלים לפי השלבים הבאים:

חלונית Explorer

  1. במסוף Google Cloud , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

  3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Notebooks.

  4. לוחצים על שם המחברת שנבחרה.

  5. בסרגל הכלים של Notebook, לוחצים על תזמון.

    לחלופין, לוחצים על תזמון:

    חלונית התזמון של ה-Notebook.

  6. בטבלה עם פרטי התזמון, בשורה מצב התזמון, לוחצים על המתג התזמון מופעל.

הדף קביעת הפגישה

  1. נכנסים לדף Scheduling במסוף Google Cloud .

    מעבר ל'תזמון'

  2. לוחצים על שם המחברת שנבחרה.

  3. בדף פרטי התזמון, לוחצים על השבתה.

הפעלת לוח זמנים

כדי להפעיל מחדש תזמון של הפעלות של notebook שהושבת:

חלונית Explorer

  1. במסוף Google Cloud , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

  3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Notebooks.

  4. לוחצים על שם המחברת שנבחרה.

  5. בסרגל הכלים של Notebook, לוחצים על תזמון.

    אפשר גם ללחוץ על תזמון.

  6. בטבלה עם פרטי התזמון, בשורה מצב התזמון, לוחצים על המתג התזמון מושבת.

הדף קביעת הפגישה

  1. נכנסים לדף Scheduling במסוף Google Cloud .

    מעבר ל'תזמון'

  2. לוחצים על שם המחברת שנבחרה.

  3. בדף פרטי התזמון, לוחצים על הפעלה.

עריכת פרומפט מתוזמן

אפשר לערוך את לוח הזמנים בחלונית Explorer או בדף Scheduling.

כדי לערוך לוח זמנים:

חלונית Explorer

  1. במסוף Google Cloud , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

  3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Notebooks.

  4. לוחצים על שם המחברת שנבחרה.

  5. לוחצים על תזמון ואז על עריכה.

  6. בתיבת הדו-שיח פרטי התזמון, עורכים את התזמון ולוחצים על עדכון התזמון.

הדף קביעת הפגישה

  1. נכנסים לדף Scheduling במסוף Google Cloud .

    מעבר ל'תזמון'

  2. לוחצים על השם של לוח הזמנים של המחברת שנבחרה.

  3. בדף פרטי התזמון, לוחצים על עריכה.

  4. לוחצים על הצגת לוח הזמנים ואז על עריכה.

  5. בתיבת הדו-שיח תזמון מחברת, עורכים את התזמון ולוחצים על עדכון התזמון.

מחיקת פרומפט מתוזמן

כדי למחוק באופן סופי תזמון של notebook שנבחר, פועלים לפי השלבים הבאים:

  1. נכנסים לדף Scheduling במסוף Google Cloud .

    מעבר ל'תזמון'

  2. בצע אחת מהפעולות הבאות:

    • לוחצים על שם התזמון שנבחר, ואז בדף פרטי התזמון לוחצים על מחיקה.

    • בשורה שמכילה את התזמון שנבחר, לוחצים על הצגת פעולות בעמודה פעולות ואז על מחיקה.

  3. בתיבת הדו-שיח שמופיעה, לוחצים על מחיקה.

המאמרים הבאים