יצירת טריגרים מאירועים ב-Cloud Storage

ב-Cloud Run, אפשר להפעיל שירותים מ-Cloud Storage באמצעות Eventarc, בתגובה לשינויים ב-Cloud Storage.

כשמציינים טריגר של Cloud Storage לשירות, בוחרים סוג אירוע ומציינים קטגוריה של Cloud Storage. כתוצאה מהטריגר הזה, השירות שלכם מופעל בכל פעם שמתרחש שינוי באובייקט (קובץ) בקטגוריה שצוינה.

כדי שאירוע בקטגוריה של Cloud Storage יפעיל את השירות, השירות והקטגוריה צריכים להיות באותו פרויקט Google Cloud .

הוראות מפורטות ודוגמאות קוד ליצירת טריגרים מאירועים ב-Cloud Storage זמינות במדריכים הבאים:

סוגי האירועים הנתמכים ב-Cloud Storage

‫Cloud Run תומך בסוגי האירועים הבאים של Cloud Storage:

אירוע סוג אירוע תיאור
האובייקט הסופי
  • google.cloud.storage.object.v1.finalized (דרך Eventarc)
מתרחש כשיוצרים אובייקט חדש או מחליפים אובייקט קיים, ו-Cloud Storage יוצר גנרציה חדשה של האובייקט הזה.
האובייקט נמחק
  • google.cloud.storage.object.v1.deleted (דרך Eventarc)
מתרחש כשמתבצעת מחיקה רכה של אובייקט. מידע נוסף זמין במאמר בנושא מחיקה רכה.
האובייקט הועבר לארכיון
  • google.cloud.storage.object.v1.archived (דרך Eventarc)
מתרחש כשגרסה פעילה של אובייקט הופכת לגרסה לא עדכנית. מידע נוסף זמין במאמר בנושא ניהול גרסאות של אובייקטים.
מטא-נתונים של אובייקט עודכנו
  • google.cloud.storage.object.v1.metadataUpdated (דרך Eventarc)
מתרחש כשמשנים את המטא-נתונים של אובייקט קיים.

מאגר Google Events מכיל משאבים נוספים לעבודה עם נתוני אירועים.

לפני שמתחילים

  1. חשוב לוודא שהגדרתם פרויקט חדש ל-Cloud Run כמו שמתואר בדף ההגדרה.

  2. מפעילים את ממשקי ה-API של Artifact Registry,‏ Cloud Build,‏ Cloud Run Admin API,‏ Eventarc,‏ Cloud Logging,‏ Pub/Sub ו-Cloud Storage:

    הפעלת ממשקי ה-API

  3. הקצאת תפקידים והרשאות של IAM

התפקידים הנדרשים לחשבון הפריסה

כדי לקבל את ההרשאות שדרושות בשביל להפעיל את הפונקציה מאירועים ב-Cloud Storage, אתם צריכים לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

שימו לב: כברירת מחדל, ההרשאות של Cloud Build כוללות הרשאות להעלאה ולהורדה של ארטיפקטים של Artifact Registry.

יצירת טריגר לשירותים

אחרי פריסת שירות, אפשר להגדיר טריגר באמצעות מסוף Google Cloud , Google Cloud CLI או Terraform.

המסוף

  1. פורסים את שירות Cloud Run באמצעות קונטיינרים או ממקור.

  2. במסוף Google Cloud , עוברים אל Cloud Run:

    כניסה ל-Cloud Run

  3. ברשימת השירותים, לוחצים על שירות קיים.

  4. בדף פרטי השירות, עוברים לכרטיסייה Triggers (טריגרים).

  5. לוחצים על Add trigger (הוספת טריגר) ובוחרים באפשרות Cloud Storage trigger (טריגר של Cloud Storage).

  6. בחלונית Eventarc trigger משנים את פרטי הטריגר באופן הבא:

    1. בשדה Trigger name, מזינים שם לטריגר או משתמשים בשם ברירת המחדל.

    2. בוחרים סוג טריגר מהרשימה כדי לציין אחד מסוגי הטריגרים הבאים:

      • מקורות Google כדי לציין טריגרים ל-Pub/Sub, ל-Cloud Storage, ל-Firestore ולספקי אירועים אחרים של Google.

      • צד שלישי כדי לבצע שילוב עם ספקים שאינם של Google שמציעים מקור Eventarc. מידע נוסף זמין במאמר בנושא אירועים של צד שלישי ב-Eventarc.

    3. בוחרים באפשרות Cloud Storage מתוך רשימת ספקי האירועים כדי לבחור מוצר שמספק את סוג האירוע להפעלת השירות. רשימת ספקי האירועים מופיעה במאמר ספקי אירועים ויעדים.

    4. ברשימה Event type (סוג האירוע), בוחרים באפשרות google.cloud.storage.object.v1.finalized. הגדרת הטריגר משתנה בהתאם לסוג האירוע הנתמך. מידע נוסף זמין במאמר בנושא סוגי אירועים.

    5. בשדה Bucket, לוחצים על Browse כדי לבחור קטגוריה של Cloud Storage שהטריגר יעקוב אחריה. שינויים באובייקטים ב-bucket הזה יפעילו קריאות לפונקציה.

    6. אם השדה אזור מופעל, בוחרים מיקום לטריגר Eventarc. באופן כללי, המיקום של טריגר Eventarc צריך להיות זהה למיקום של Google Cloud המשאב שרוצים לעקוב אחרי האירועים שלו. ברוב התרחישים, מומלץ גם לפרוס את השירות באותו אזור. מידע נוסף על מיקומי טריגרים של Eventarc זמין במאמר הסבר על מיקומי Eventarc.

    7. בשדה Service account, בוחרים חשבון שירות. טריגרים של Eventarc מקושרים לחשבונות שירות כדי לשמש כזהות כשמפעילים את השירות. לחשבון השירות של טריגר Eventarc צריכה להיות הרשאה להפעלת השירות. כברירת מחדל, Cloud Run משתמש בחשבון השירות של Compute Engine שמוגדר כברירת מחדל.

    8. אפשר לציין את נתיב כתובת ה-URL של השירות כדי לשלוח את הבקשה הנכנסת. זהו הנתיב היחסי בשירות היעד שאליו יישלחו האירועים של הטריגר. לדוגמה: /,‏ /route,‏ route ו-route/subroute.

    9. אפשרות נוספת: כדי להפעיל ניסיונות חוזרים אם ניסיון המסירה נכשל, מסמנים את תיבת הסימון הפעלת ניסיון חוזר במקרה של כשל. אחרת, התנהגות ברירת המחדל היא ניסיון מסירה יחיד ללא ניסיונות חוזרים. מידע נוסף זמין במאמר בנושא ניסיון חוזר לשליחת אירועים.

    10. אחרי שממלאים את שדות החובה, לוחצים על שמירת הטריגר.

  7. אחרי שיוצרים את הטריגר, מוודאים שהוא תקין. הסימן לכך הוא סימן וי בכרטיסייה Triggers.

gcloud

  1. פורסים את שירות Cloud Run באמצעות קונטיינרים או ממקור.

  2. מריצים את הפקודה הבאה כדי ליצור טריגר שמסנן אירועים ומנתב אותם:

    gcloud eventarc triggers create TRIGGER_NAME  \
        --location=LOCATION \
        --destination-run-service=DESTINATION_RUN_SERVICE  \
        --destination-run-region=DESTINATION_RUN_REGION \
        --event-filters="type=EVENT_FILTER_TYPE" \
        --event-filters="bucket=BUCKET" \
        --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
    

    מחליפים את מה שכתוב בשדות הבאים:

    • TRIGGER_NAME: המזהה של הטריגר או מזהה מוגדר במלואו.
    • LOCATION: המיקום של טריגר Eventarc. אפשרות נוספת היא להגדיר את המאפיין eventarc/location, לדוגמה, gcloud config set eventarc/location us-central1.

      כדי להימנע מבעיות בביצועים ובמיקום אחסון הנתונים, המיקום צריך להיות זהה למיקום של Google Cloud השירות שמייצר אירועים. מידע נוסף זמין במאמר בנושא מיקומי Eventarc.

    • DESTINATION_RUN_SERVICE: השם של שירות Cloud Run שמקבל את האירועים של הטריגר. השירות יכול להיות בכל אחד מהמיקומים הנתמכים של Cloud Run, והוא לא צריך להיות באותו מיקום כמו הטריגר. עם זאת, השירות צריך להיות באותו פרויקט כמו הטריגר והוא יקבל אירועים כבקשות HTTP POST שנשלחות לנתיב של כתובת ה-URL הבסיסית שלו (/), בכל פעם שהאירוע נוצר.
    • DESTINATION_RUN_REGION: (אופציונלי) המיקום של Cloud Run שבו נמצא שירות היעד של Cloud Run. אם לא מציינים זאת, המערכת מניחה שהשירות נמצא באותו אזור כמו הטריגר.
    • EVENT_FILTER_TYPE: המזהה של האירוע. אירוע נוצר כשקריאה ל-API של השיטה מצליחה. בפעולות ארוכות טווח, האירוע נוצר רק בסוף הפעולה, ורק אם הפעולה בוצעה בהצלחה. רשימה של סוגי האירועים הנתמכים מופיעה במאמר בנושא סוגי אירועים של Google שנתמכים על ידי Eventarc.
    • BUCKET: המזהה הייחודי הגלובלי של קטגוריית Cloud Storage.
    • SERVICE_ACCOUNT_NAME: השם של חשבון השירות שמנוהל על ידי המשתמש.
    • PROJECT_ID: מזהה הפרויקט ב- Google Cloud .

    הערות:

    • חובה להשתמש בדגל --event-filters="type=EVENT_FILTER_TYPE". אם לא מוגדר מסנן אירועים אחר, המערכת מתאימה אירועים לכל המשאבים.
    • EVENT_FILTER_TYPE אי אפשר לשנות את ההגדרה הזו אחרי שיוצרים את המרחב. כדי לשנות את EVENT_FILTER_TYPE, צריך ליצור טריגר חדש ולמחוק את הטריגר הישן.
    • לכל טריגר יכולים להיות כמה מסנני אירועים, מופרדים בפסיקים בדגל אחד --event-filters=[ATTRIBUTE=VALUE,...] או שאפשר לחזור על הדגל כדי להוסיף עוד מסננים. רק אירועים שתואמים לכל המסננים נשלחים ליעד. אין תמיכה בתווים כלליים לחיפוש ובביטויים רגולריים. עם זאת, כשמשתמשים בדגל --event-filters-path-pattern, אפשר להגדיר דפוס נתיב של משאב.
    • אפשר גם לציין ניסיון אחד למסירת אירוע ללא ניסיונות חוזרים באמצעות הדגל --max-retry-attempts. הערך החוקי היחיד הוא 1. אם לא מציינים את הדגל, המערכת תנסה שוב לבצע את הפעולה לפי ההתנהגות הרגילה. מידע נוסף זמין במאמר בנושא ניסיון חוזר לשליחת אירועים.
    • יש דגלים אחרים. מידע נוסף זמין במאמר gcloud eventarc triggers create.

Terraform

כדי ליצור טריגר Eventarc לשירות Cloud Run, ראו יצירת טריגר באמצעות Terraform.

יצירת טריגר לפונקציות

אחרי פריסת הפונקציה, אפשר להגדיר טריגר באמצעות מסוף Google Cloud , Google Cloud CLI או Terraform.

המסוף

כשמשתמשים במסוף Google Cloud כדי ליצור פונקציה, אפשר גם להוסיף טריגר לפונקציה. כדי ליצור טריגר לפונקציה:

  1. נכנסים ל-Cloud Run במסוף Google Cloud :

    כניסה ל-Cloud Run

  2. לוחצים על Write a function (כתיבת פונקציה) ומזינים את פרטי הפונקציה. מידע נוסף על הגדרת פונקציות במהלך הפריסה זמין במאמר פריסת פונקציות.

  3. בקטע Trigger (טריגר), לוחצים על Add trigger (הוספת טריגר).

  4. בוחרים באפשרות Cloud Storage trigger (טריגר של Cloud Storage).

  5. בחלונית Eventarc trigger משנים את פרטי הטריגר באופן הבא:

    1. מזינים שם לטריגר בשדה Trigger name או משתמשים בשם ברירת המחדל.

    2. בוחרים סוג טריגר מהרשימה:

      • מקורות Google כדי לציין טריגרים ל-Pub/Sub, ל-Cloud Storage, ל-Firestore ולספקי אירועים אחרים של Google.

      • צד שלישי כדי לבצע שילוב עם ספקים שאינם של Google שמציעים מקור Eventarc. מידע נוסף זמין במאמר בנושא אירועים של צד שלישי ב-Eventarc.

    3. בוחרים באפשרות Cloud Storage מתוך רשימת ספקי האירועים כדי לבחור מוצר שמספק את סוג האירוע להפעלת הפונקציה. רשימת ספקי האירועים מופיעה במאמר ספקי אירועים ויעדים.

    4. ברשימה Event type (סוג האירוע), בוחרים באפשרות google.cloud.storage.object.v1.finalized. הגדרת הטריגר משתנה בהתאם לסוג האירוע הנתמך. מידע נוסף זמין במאמר בנושא סוגי אירועים.

    5. משאירים את השדה סוג התוכן של נתוני האירועים כמו שהוא.

    6. בשדה Bucket, לוחצים על Browse כדי לבחור קטגוריה של Cloud Storage שהטריגר יעקוב אחריה. שינויים באובייקטים ב-bucket הזה יפעילו קריאות לפונקציה.

    7. אם השדה Region מופעל, בוחרים מיקום לטריגר Eventarc. באופן כללי, המיקום של טריגר Eventarc צריך להיות זהה למיקום שלGoogle Cloud המשאב שרוצים לעקוב אחרי האירועים שלו. ברוב התרחישים, כדאי גם לפרוס את הפונקציה באותו אזור. מידע נוסף על מיקומי טריגרים של Eventarc זמין במאמר הסבר על מיקומי Eventarc.

    8. בשדה Service account, בוחרים חשבון שירות. טריגרים של Eventarc מקושרים לחשבונות שירות כדי לשמש כזהות כשמפעילים את הפונקציה. לחשבון השירות של טריגר Eventarc צריך להיות הרשאה להפעיל את הפונקציה. כברירת מחדל, Cloud Run משתמש בחשבון השירות של Compute Engine שמוגדר כברירת מחדל.

    9. אפשר לציין את נתיב כתובת ה-URL של השירות כדי לשלוח את הבקשה הנכנסת. זהו הנתיב היחסי בשירות היעד שאליו יישלחו האירועים של הטריגר. לדוגמה: /,‏ /route,‏ route ו-route/subroute.

    10. אפשרות נוספת: כדי להפעיל ניסיונות חוזרים אם ניסיון המסירה נכשל, מסמנים את תיבת הסימון הפעלת ניסיון חוזר במקרה של כשל. אחרת, התנהגות ברירת המחדל היא ניסיון מסירה יחיד ללא ניסיונות חוזרים. מידע נוסף זמין במאמר בנושא ניסיון חוזר לשליחת אירועים.

  6. אחרי שממלאים את שדות החובה, לוחצים על שמירת הטריגר.

  7. לוחצים על יצירה.

  8. בכרטיסייה מקור, עורכים את קוד המקור אם צריך, ואז לוחצים על שמירה ופריסה מחדש.

gcloud

כשיוצרים פונקציה באמצעות ה-CLI של gcloud, קודם צריך לפרוס את הפונקציה ואז ליצור טריגר. כדי ליצור טריגר לפונקציה:

  1. מריצים את הפקודה הבאה בספרייה שמכילה את הקוד לדוגמה כדי לפרוס את הפונקציה:

    gcloud run deploy FUNCTION \
        --source . \
        --function FUNCTION_ENTRYPOINT \
        --base-image BASE_IMAGE_ID \
        --region REGION
    

    מחליפים את מה שכתוב בשדות הבאים:

    • FUNCTION: שם הפונקציה שרוצים לפרוס. אפשר להשמיט את הפרמטר הזה לגמרי, אבל אם תשמיטו אותו, תתבקשו לציין את השם.

    • FUNCTION_ENTRYPOINT: נקודת הכניסה לפונקציה בקוד המקור. זה הקוד ש-Cloud Run מריץ כשהפונקציה פועלת. הערך של הדגל הזה צריך להיות שם של פונקציה או שם מלא של מחלקה שקיימים בקוד המקור.

    • BASE_IMAGE_ID: סביבת תמונת הבסיס של הפונקציה. מידע נוסף על תמונות בסיס ועל החבילות שכלולות בכל תמונה זמין במאמר בנושא תמונות בסיס של סביבות זמן ריצה.

    • REGION: Google Cloud האזור שבו רוצים לפרוס את הפונקציה. לדוגמה, europe-west1.

  2. מריצים את הפקודה הבאה כדי ליצור טריגר שמסנן אירועים ומנתב אותם:

    gcloud eventarc triggers create TRIGGER_NAME  \
        --location=LOCATION \
        --destination-run-service=FUNCTION  \
        --destination-run-region=DESTINATION_RUN_REGION \
        --event-filters="type=EVENT_FILTER_TYPE" \
        --event-filters="bucket=BUCKET" \
        --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
    

    מחליפים את מה שכתוב בשדות הבאים:

    • TRIGGER_NAME: המזהה של הטריגר או מזהה מוגדר במלואו.
    • LOCATION: המיקום של טריגר Eventarc. אפשרות נוספת היא להגדיר את המאפיין eventarc/location, לדוגמה, gcloud config set eventarc/location us-central1.

      כדי להימנע מבעיות בביצועים ובמיקום אחסון הנתונים, המיקום צריך להיות זהה למיקום של Google Cloud השירות שמייצר אירועים. מידע נוסף זמין במאמר בנושא מיקומי Eventarc.

    • FUNCTION: השם של פונקציית Cloud Run שנפרסה ומקבלת את האירועים של הטריגר.
    • DESTINATION_RUN_REGION: (אופציונלי) המיקום של Cloud Run שבו אפשר למצוא את פונקציית היעד של Cloud Run. אם לא מציינים זאת, ההנחה היא שהפונקציה נמצאת באותו אזור כמו הטריגר.
    • EVENT_FILTER_TYPE: המזהה של האירוע. אירוע נוצר כשקריאה ל-API של השיטה מצליחה. בפעולות ארוכות טווח, האירוע נוצר רק בסוף הפעולה, ורק אם הפעולה בוצעה בהצלחה. רשימה של סוגי האירועים הנתמכים מופיעה במאמר בנושא סוגי אירועים של Google שנתמכים על ידי Eventarc.
    • BUCKET: המזהה הייחודי הגלובלי של קטגוריית Cloud Storage.
    • SERVICE_ACCOUNT_NAME: השם של חשבון השירות שמנוהל על ידי המשתמש.
    • PROJECT_ID: מזהה הפרויקט ב- Google Cloud .

    הערות:

    • חובה להשתמש בדגל --event-filters="type=EVENT_FILTER_TYPE". אם לא מוגדר מסנן אירועים אחר, המערכת מתאימה אירועים לכל המשאבים.
    • EVENT_FILTER_TYPE אי אפשר לשנות את ההגדרה הזו אחרי שיוצרים את המרחב. כדי לשנות את EVENT_FILTER_TYPE, צריך ליצור טריגר חדש ולמחוק את הטריגר הישן.
    • לכל טריגר יכולים להיות כמה מסנני אירועים, מופרדים בפסיקים בדגל אחד --event-filters=[ATTRIBUTE=VALUE,...] או שאפשר לחזור על הדגל כדי להוסיף עוד מסננים. רק אירועים שתואמים לכל המסננים נשלחים ליעד. אין תמיכה בתווים כלליים לחיפוש ובביטויים רגולריים. עם זאת, כשמשתמשים בדגל --event-filters-path-pattern, אפשר להגדיר דפוס נתיב של משאב.
    • אפשר גם לציין ניסיון אחד למסירת אירוע ללא ניסיונות חוזרים באמצעות הדגל --max-retry-attempts. הערך החוקי היחיד הוא 1. אם לא מציינים את הדגל, המערכת תנסה שוב לבצע את הפעולה לפי ההתנהגות הרגילה. מידע נוסף זמין במאמר בנושא ניסיון חוזר לשליחת אירועים.
    • יש דגלים אחרים. מידע נוסף זמין במאמר gcloud eventarc triggers create.

Terraform

כדי ליצור טריגר Eventarc לפונקציית Cloud Run, אפשר לעיין במאמר יצירת טריגר באמצעות Terraform.

העברת אירועים

טריגרים של Cloud Storage מיושמים באמצעות התראות Pub/Sub ל-Cloud Storage. האירועים כפופים להתחייבויות למסירת התראות ב-Pub/Sub.

אפשר להגדיר עד 10 הגדרות של התראות להפעלה של אירוע ספציפי בקטגוריית Cloud Storage. חריגה ממגבלות ההתראות של הדלי תגרום לכך שפריסות נוספות של פונקציות ייכשלו עם שגיאה כמו הבאה:

Cloud Storage bucket ...: Pub/Sub notification limit reached

כדי לעקוף את המגבלה הזו, אפשר לנהל נושא Pub/Sub משלכם ולרשום אותו לקבלת התראות Cloud Storage מהסוג שאתם רוצים שהפונקציה תגיב אליו. לדוגמה, אפשר להגדיר התראה אחת לאירוע שבחרתם (כמו יצירת אובייקט) לנושא Pub/Sub. לאחר מכן, צריך להגדיר מספר מנויים לפונקציה לפי הצורך כדי שהנושא יעבד את האירוע ויפיץ אותו למספר יעדים. לדוגמה:

  1. יצירת נושא Pub/Sub משלכם
  2. יוצרים הגדרת התראה אחת בקטגוריה של Cloud Storage שמופעלת באירוע ספציפי (כמו OBJECT_FINALIZE ליצירת אובייקט) ושולחת את האירוע לנושא Pub/Sub אחד.
  3. יוצרים פונקציה (או פונקציות) שמופעלת על ידי נושא Pub/Sub.

התוצאה היא הגדרת התראה אחת של Cloud Storage, נושא אחד של Pub/Sub וכמה פונקציות שצריך (במסגרת מגבלות המסירה הגבוהות מאוד שמותרות ב-Pub/Sub).

מידע נוסף על המגבלות של Cloud Storage אפשר למצוא במאמר בנושא מכסות ומגבלות ב-Cloud Storage.

השלבים הבאים