ניתוח הנתונים המאוחסנים באמצעות Gemini Cloud Assist

בדף הזה מוסבר איך להשתמש ב-Gemini כדי לקבל עזרה שמבוססת על AI, וכך להבין טוב יותר את מצב אחסון הנתונים ב-Cloud Storage. כשמשתמשים ב-Gemini Cloud Assist, אפשר להזין הנחיות לגבי אופן הפעולה של Cloud Storage באופן כללי, וכשמפעילים מינוי ל-Storage Intelligence, אפשר להזין הנחיות לגבי קטגוריות ואובייקטים ספציפיים.

אחרי שתקבלו את המידע מ-Gemini Cloud Assist, תוכלו:

  • ניתוח של דפוסי שימוש בחבילת הגלישה ומגמות

  • זיהוי הזדמנויות לחיסכון בעלויות האחסון

  • אופטימיזציה של הנתונים לצורך אבטחה ותאימות

  • קבלת החלטות מושכלות לגבי ניהול הנתונים

‫Gemini לא משתמש בפרומפטים שלכם או בתשובות שלו כנתונים לאימון המודלים שלו בלי אישור מפורש מכם. איך Gemini for Google Cloud משתמש בנתונים שלכם

הדף הזה מיועד למפתחים, למנתחי נתונים או למהנדסי נתונים, לאדמינים של פלטפורמות, למפעילים פיננסיים ולמנהלי תאימות. ההנחה היא שאתם יודעים איך להשתמש ב-Cloud Storage ולשאול שאילתות על מערכי נתונים מקושרים.

אילו הנחיות Gemini יכול לענות עליהן?

כדי להבין את אחסון הנתונים, אתם יכולים לספק ל-Gemini Cloud Assist הנחיה, שהיא הצהרה או שאלה בשפה טבעית.

כשמשתמשים ב-Gemini Cloud Assist בלי מינוי ל-Storage Intelligence, אפשר להזין הנחיות לגבי אופן הפעולה של Cloud Storage באופן כללי, כמו ההנחיות הבאות:

  • "איך מעבירים אובייקטים מסוג אחסון אחד לסוג אחסון אחר?"

  • "איך מפעילים מחיקה רכה בדלי?"

כשמפעילים מינוי ל-Storage Intelligence, אפשר גם להזין הנחיות שקשורות להזדמנויות לחיסכון בעלויות, לאבטחה ולתאימות, ולגילוי נתונים. ‫Gemini Cloud Assist יכול להשתמש במטא-נתונים שכלולים במערכי נתונים של Storage Insights כדי ליצור תובנות, שהן תשובות להנחיות לגבי המטא-נתונים והשימוש בקטגוריות ובאובייקטים. אפשר להשתמש בהנחיות כמו:

  • הנחיות שקשורות לשימוש ולחיסכון בעלויות:

    • ‫5 הקטגוריות הגדולות ביותר בלי ניהול מחזור חיים של אובייקטים

    • ‫'5 הקטגוריות הגדולות ביותר שהתכונה Autoclass לא מופעלת בה'

  • הנחיות שקשורות לאבטחה ולתאימות:

    • ‫5 הקטגוריות הגדולות ביותר ללא ניהול גרסאות של אובייקטים

    • ‫5 האובייקטים הגדולים ביותר שתאריך התפוגה של שמירת הנתונים שלהם חל ב-30 הימים הקרובים

  • פרומפטים שקשורים לגילוי נתונים:

    • ‫"Buckets with a high volume of small files (each under 1 MB)" (קטגוריות עם נפח גדול של קבצים קטנים (כל אחד קטן מ-1MB))

    • ‫'Objects in Standard storage class smaller than 50 MB' (אובייקטים בסוג האחסון Standard Storage שקטנים מ-50MB)

לפני שמתחילים

כדי להשתמש ב-Gemini Cloud Assist להנחיות כלליות שקשורות ל-Cloud Storage, קודם צריך להגדיר את Gemini Cloud Assist, כולל קבלת התפקידים הנדרשים.

הגדרת Gemini Cloud Assist

מוודאים שGemini Cloud Assist מוגדר בפרויקט Google Cloud .

אם רוצים להזין הנחיות שקשורות לקטגוריות ולאובייקטים ספציפיים, צריך גם לבצע את השלבים המקדימים הבאים:

  1. הפעלת Storage Intelligence, שמאפשרת לכם לגשת לקבוצות נתונים של Storage Insights.

  2. יוצרים מערך נתונים של Storage Insights, ש-Gemini Cloud Assist ינתח כדי לספק מידע על קטגוריות ואובייקטים ספציפיים.

    לחלופין, אם יש מערך נתונים קיים שרוצים להשתמש בו, אפשר לקבל את תפקידי ה-IAM הנדרשים כדי לגשת למערך הנתונים הקיים.

  3. חשוב לוודא שלסוכן השירות של Storage Insights יש גישה למערך הנתונים ש-Gemini Cloud Assist ינתח. כך אפשר לקרוא ולנתח את מערך הנתונים.

הפעלת Storage Intelligence

מוודאים שStorage Intelligence מופעל בפרויקט, בתיקייה או בארגון שמכילים או שיכילו את מערכי הנתונים ש-Gemini Cloud Assist ישתמש בהם כדי לענות על הנחיות.

יצירת מערך נתונים

יוצרים מערך נתונים ומקשרים אותו ל-BigQuery.

מתן התפקידים הנדרשים לגישה למערכי נתונים

כשמשתמש יוצר הגדרה של מערך נתונים בפעם הראשונה, נוצר סוכן שירות של Storage Insights. השם של סוכן השירות פועל לפי הפורמט service-PROJECT_NUMBER@gcp-sa-storageinsights.iam.gserviceaccount.com, והוא מופיע בדף IAM ב Google Cloud מסוף כשמסמנים את התיבה Include Google-provided role grants.

כדי להשתמש ב-Gemini Cloud Assist להנחיות שקשורות למטא-נתונים של קטגוריות או אובייקטים, צריך להעניק לסוכן השירות של Storage Insights הרשאה לקרוא מערכי נתונים. צריך לבקש מהאדמין להעניק לסוכן השירות את התפקיד BigQuery Data Viewer‏ (roles/bigquery.dataViewer) בארגון, בתיקייה או בפרויקט שמכילים את מערך הנתונים שרוצים לנתח.

הוראות להקצאת תפקידים לסוכני שירות מופיעות במאמר יצירה והקצאה של תפקידים לסוכני שירות.

קבלת התפקידים הנדרשים לגישה למערכי נתונים

כדי לקבל את ההרשאות שדרושות לכם כדי לקבל תובנות לגבי מטא-נתונים של קטגוריות ואובייקטים, אתם צריכים לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט, בתיקייה או בארגון שמכילים את מערכי הנתונים שאתם רוצים לנתח:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

ניתוח של אחסון הנתונים באמצעות הנחיות בשפה טבעית

כדי להזין הנחיות ל-Gemini Cloud Assist, פועלים לפי השלבים הבאים:

  1. במסוף Google Cloud , עוברים לדף Storage Insights של Cloud Storage.

    מעבר אל Storage Insights

  2. בסרגל הכלים, לוחצים על סמל הנצנוץ (Gemini) כדי לפתוח את חלונית הצ'אט של Cloud Assist.

    מופיעה חלונית הצ'אט של Cloud Assist.

  3. בחלונית הצ'אט של Cloud Assist, מזינים הנחיה בשפה טבעית לגבי אחסון הנתונים. לדוגמה, אפשר להזין את הפרטים הבאים:

    Which is my largest bucket
  4. לוחצים על (יצירה).

  5. אם מוצגת בקשה, מזינים את שם מערך הנתונים ש-Gemini ינתח כדי ליצור את התשובה, ואז לוחצים על (יצירה).

    אם הפעולה בוצעה ללא שגיאות, Gemini Cloud Assist יפיק תגובה שדומה לזו:

    Here's what I found by analyzing the data in EXAMPLE_DATASET:
    
    Bucket name Size
    my-bucket 39.1 TB

    בנוסף, מוחזרת שאילתת ה-SQL הבסיסית שבה נעשה שימוש ב-Gemini Cloud Assist. שאילתת ה-SQL שנוצרת דומה לזו:

    SELECT bucket_id, bucket_size
    FROM buckets
    WHERE project_id = 'example-project'
    ORDER BY bucket_size DESC
    LIMIT 1;
    

אפשר גם להזין הצעות להנחיות:

  1. במסוף Google Cloud , עוברים לדף Storage Insights של Cloud Storage.

    מעבר אל Storage Insights

  2. בקטע הצעות להנחיות, בוחרים הצעה להנחיה. לדוגמה, הצעה לפרומפט יכולה להיות: Storage size broken down by object content type.

  3. אם הפעולה בוצעה בהצלחה, Gemini Cloud Assist יפיק תגובה שדומה לזו:

    Here's what I found by analyzing the data in EXAMPLE_DATASET:
    
    Content type Size
    MP4 483.2 GB
    MOV 239.1 GB
    MP3 125.8 GB

    בנוסף, מוחזרת שאילתת ה-SQL הבסיסית שבה נעשה שימוש ב-Gemini Cloud Assist. שאילתת ה-SQL שנוצרת דומה לזו:

    SELECT
    oa.contentType, ROUND(sum(oa.size) / (1024 * 1024 * 1024), 2) AS total_size_gb
    FROM object_attributes_latest AS oa
    GROUP BY oa.contentType
    ORDER BY sum(oa.size) DESC;

מכסות לעיבוד נתונים

כשמריצים הנחיה באמצעות Gemini Cloud Assist כדי לקבל מידע על הנתונים ב-Cloud Storage, ‏ Gemini Cloud Assist מעבד את מערכי הנתונים כדי לספק תשובות להנחיות. אם כדי לענות על הנחיה נדרש עיבוד של פחות מ-800GB של נתונים, Gemini Cloud Assist מחזיר את שאילתת ה-SQL הבסיסית של ההנחיה ומבצע את השאילתה, ומחזיר את התשובה ב-SQL. אם כדי לענות על הנחיה נדרש עיבוד של 800GB נתונים או יותר, Gemini Cloud Assist מחזיר רק את שאילתת ה-SQL הבסיסית ולא מבצע את השאילתה. אתם יכולים להפעיל את השאילתה בעצמכם באמצעות BigQuery.

‫Gemini Cloud Assist יכול לעבד עד 50TB של נתונים בחודש לכל ארגון. אם הארגון שלכם חורג מהמגבלה הזו, Gemini Cloud Assist יחזיר את שאילתות ה-SQL הבסיסיות לכל פרומפט נוסף שתריצו, אבל לא יבצע את השאילתות. הפעלת פרומפטים נוספים תגרום להצגת הודעת התגובה חריגה מהמכסה החודשית.

מגבלות

  • כשמשתמשים בהנחיות כדי לנתח משאבים של Cloud Storage, אפשר לציין עד חמישה משאבים בהנחיה. לדוגמה: 5 largest buckets without Autoclass enabled. גם אם תכללו יותר מחמישה משאבים בפרומפט, Gemini Cloud Assist יוכל להחזיר תוצאות רק לגבי חמשת המשאבים המובילים שתואמים לקריטריונים של הפרומפט.

  • ‫Gemini Cloud Assist משתמש במטא-נתונים של הקטגוריה והאובייקט שנכללים במערכי הנתונים של Storage Insights כדי להגיב להנחיות לגבי אחסון הנתונים.

    הנתונים הבאים לא זמינים במערכי הנתונים של Storage Insights, ולכן ל-Gemini Cloud Assist אין את ההקשר המתאים כדי להגיב להנחיות שקשורות לנתונים האלה:

    • נתוני עלות ספציפיים, למשל: "כמה עולה לי הדלי בחודש".

    • נתוני פעילות, לדוגמה: "מהו זמן הגישה האחרון של האובייקט שלי".

    • נתונים על ההגדרה של תכונות מסוימות, כמו מחיקה רכה. לדוגמה: "which buckets don't have soft delete enabled".

    בנוסף, ל-Gemini Cloud Assist אין את ההקשר המתאים כדי להשיב להנחיות שקשורות למידע על סדרות זמן. לדוגמה: "מה היה הגידול בדלי שלי ב-3 השבועות האחרונים". הסיבה לכך היא ש-Gemini Cloud Assist קורא רק את תמונת המצב האחרונה של מערך נתונים.

המאמרים הבאים