סקירה כללית על ניהול סיכונים במערכות AI

התכונה AI Protection עוזרת לכם לנהל את מצב האבטחה של עומסי העבודה של ה- AI. היא מספקת תצוגה של אבטחת ה-AI בסביבה Google Cloud שלכם, ועוזרת לכם לזהות איומים ולצמצם את הסיכונים במלאי ה-AI. במסמך הזה מופיעה סקירה כללית של AI Protection, כולל היתרונות שלו וכמה מושגים מרכזיים.

ניהול סיכונים במערכות AI זמין בהפעלות של Security Command Center ברמת הארגון וברמת הפרויקט.

כשמפעילים את Security Command Center ברמת הארגון, נתוני לוחות הבקרה של AI Security ותצוגות AI Security בדפי המסוף מציגים נתונים שנצברים מכל הפרויקטים והמשאבים בארגון.

כשמפעילים את Security Command Center ברמת הפרויקט, נתונים שקשורים למשאבים בפרויקט שנבחר מוצגים במרכז הבקרה AI Security ובתצוגות בדפי המסוף.

יכולות ההגנה מבוססת-AI

התכונה AI Protection עוזרת לכם לנהל איומים וסיכונים לרכיבים במערכות ה-AI שלכם. רמת השירות שלכם קובעת את היכולות הזמינות, כולל:

  • הערכת מלאי נכסי ה-AI: הבנת מערכות ונכסי ה-AI.
  • זיהוי נקודות חולשה (רמות שירות Premium ו-Enterprise (הוצא משימוש)): זיהוי נקודות חולשה בתוכנה (CVE) וסודות בטקסט לא מוצפן בעומסי עבודה סוכניים שנפרסו באמצעות Agent Runtime.
  • זיהוי סיכונים (מהדורות Premium ו-Enterprise (הוצאה משימוש)): זיהוי סיכונים וההשפעה שלהם על המערכת האקולוגית על סמך סימולציה של נתיב התקפה וכללים מוגדרים מראש של Security Graph, עם סוכנים ושרתי MCP כמשאבים בעלי ערך גבוה.
  • זיהוי סוכנים עם הרשאות עודפות: זיהוי סוכני Agent Runtime שקיבלו הרשאות עודפות.
  • ניהול תאימות: בדיקה יזומה של נכסי ה-AI בהטמעות כדי לוודא שהם עומדים בתקני האבטחה הרלוונטיים. רמת השירות Standard כוללת ממצאי אבטחה בסיסיים עם Security Essentials, בעוד שרמות השירות Premium ו-Enterprise כוללות תאימות מתקדמת למסגרות.
  • זיהוי איומים וניהולם: זיהוי איומים פוטנציאליים על מערכות ונכסי ה-AI שלכם ומתן מענה להם בזמן.

תרחישים לדוגמה לשימוש ב-AI Protection

‫AI Protection עוזר לארגונים לשפר את האבטחה שלהם על ידי זיהוי וצמצום של איומים וסיכונים שקשורים למערכות AI ולנתונים רגישים. התרחישים הבאים לדוגמה ממחישים איך אפשר להשתמש ב-AI Protection בארגונים שונים:

  • מוסד שירותים פיננסיים: נתונים פיננסיים של לקוחות

    מוסד גדול לשירותים פיננסיים משתמש במודלים של AI שמעבדים נתונים פיננסיים רגישים.

    • האתגר: עיבוד נתונים פיננסיים רגישים מאוד באמצעות מודלים של AI כרוך בכמה סיכונים, כולל הסיכון לפרצות אבטחה, זליגת נתונים במהלך אימון או הסקת מסקנות ונקודות חולשה בתשתית ה-AI הבסיסית.
    • תרחיש שימוש: ניהול סיכונים במערכות AI עוקבת באופן רציף אחרי תהליכי עבודה של AI כדי לזהות פעילות חשודה, פועלת לזיהוי גישה לנתונים לא מורשית והתנהגות חריגה של מודלים, מבצעת סיווג של מידע אישי רגיש ועוזרת לשפר את התאימות לתקנות כמו PCI DSS ו-GDPR.

  • ספקי שירותים רפואיים: פרטיות המטופלים ותאימות

    ספק שירותים רפואיים גדול מנהל רשומות רפואיות אלקטרוניות ומשתמש ב-AI לאבחון ולתכנון טיפול, תוך התמודדות עם מידע רפואי מוגן (PHI).

    • אתגר: ניתוח של PHI על ידי מודלים של AI כפוף לתקנות מחמירות כמו HIPAA. הסיכונים כוללים חשיפה מקרית של PHI עקב טעויות בהגדרות או התקפות זדוניות שמכוונות למערכות AI כדי לגנוב נתוני מטופלים.
    • תרחיש לדוגמה: AI Protection מזהה הפרות פוטנציאליות של HIPAA ושולח התראות לגביהן, מזהה גישה לא מורשית ל-PHI על ידי מודלים או משתמשים, מסמן שירותי AI פגיעים ובעלי פוטנציאל להגדרה שגויה, ועוקב אחרי דליפת נתונים.

  • חברת ייצור ורובוטיקה: קניין רוחני קנייני

    חברת ייצור שמתמחה ברובוטיקה מתקדמת ובאוטומציה מסתמכת במידה רבה על AI כדי לייעל את קווי הייצור ואת השליטה ברובוטים, וקניין רוחני (IP) חיוני מוטמע באלגוריתמים של ה-AI ובנתוני הייצור שלה.

    • האתגר: אלגוריתמים קנייניים של AI ונתונים תפעוליים רגישים חשופים לגניבה על ידי איומים פנימיים או גורמים חיצוניים עוינים, מה שעלול להוביל לנחיתות תחרותית או לשיבוש תפעולי.
    • תרחיש לדוגמה: ניהול סיכונים במערכות AI מנטר גישה לא מורשית למודלים של AI ולמאגרי המקורות של הקוד, מזהה ניסיונות להוציא מודלים מאומנים ודפוסי גישה חריגים לנתונים, ומסמן נקודות חולשה בסביבות פיתוח של AI כדי למנוע גניבת קניין רוחני.

שירותי זיהוי ב-AI Protection

בקטע הבא מתוארים כללים ושירותי זיהוי שיוצרים ממצאים כשמפעילים את AI Protection. המסלול של שירות Security Command Center והיקף ההפעלה (ברמת הארגון או ברמת הפרויקט) קובעים אילו שירותי זיהוי נתמכים ב-Security Command Center ואילו ממצאים נוצרים. חלק משירותי הזיהוי מופעלים אוטומטית ב-Security Command Center, אבל אחרים צריך להגדיר באופן ידני. מידע נוסף זמין במאמר בנושא הגדרת הגנה מבוססת-AI.

שירות AI Discovery

זהו שירות מובנה שמשתמש בנתונים של Cloud Monitoring כדי לגלות מודלים של AI ולקבוע אם Model Armor מגן על המודלים. במהדורת Standard, התכונה 'גילוי AI' לא תומכת בזיהוי של מודלים של Gemini.

מידע על הממצאים שהשירות הזה יוצר זמין במאמר ממצאים של שירות AI Discovery.

מסגרות ב-Compliance Manager

(הוצאו משימוש)

התכונה 'הגנה באמצעות AI' משתמשת במסגרות של Compliance Manager ש-Security Command Center פורס אוטומטית במצב בלשי.

מסגרות מובנות ב-Compliance Manager

המסגרות הבאות כלולות ב-AI Protection. כשמפעילים את ניהול סיכונים במערכות AI, ‏ Security Command Center מפעיל באופן אוטומטי את המסגרות האלה בארגון או בפרויקט.

בהתאם לרמת השירות, אתם יכולים להגדיר מסגרות ובקרות נוספות בענן ב-Compliance Manager. מידע נוסף על Compliance Manager זמין במאמר Compliance Manager.

מסגרות מותאמות אישית ב-Compliance Manager

אתם יכולים ליצור מסגרות בהתאמה אישית על ידי יצירת עותקים של מסגרות מובנות שזמינות ברמת השירות שלכם.

  • התאמה אישית: אתם יכולים להוסיף או להסיר אמצעי בקרה בענן במסגרות מותאמות אישית כדי להתאים אותן למדיניות האבטחה שלכם.
  • אפליקציה ממוקדת: אתם יכולים להחיל מסגרות מותאמות אישית על ארגונים, תיקיות או פרויקטים ספציפיים. לדוגמה, אתם יכולים להחיל אמצעי בקרה ספציפיים של תחום שיפוט על תיקיות ספציפיות כדי לוודא שהנתונים יישארו באזור גיאוגרפי מסוים.
  • מגבלה: אי אפשר להקצות מסגרות של ניהול סיכונים במערכות AI לאפליקציות.

כללים של Event Threat Detection לנכסים של Gemini Enterprise Agent Platform

התכונה Event Threat Detection מזהה כמה איומים פוטנציאליים שקשורים לנכסים של Gemini Enterprise Agent Platform, כמו פעילות חריגה של חשבון שירות, שינויים בהרשאת גישה למידע רגיש וניצול לרעה של זהות סוכנים.

מציאת קטגוריות שרלוונטיות לנכסי AI כוללת את האפשרויות הבאות:

  • התמדה: שיטה חדשה של AI API
  • התמדה: מיקום גיאוגרפי חדש לשירות AI
  • העלאת רמת ההרשאה: התחזות חריגה לחשבון שירות לצורך פעילות אדמין של AI
  • העלאת רמת ההרשאה: התחזות חריגה לחשבון שירות לצורך גישה לנתוני AI
  • העלאת רמת ההרשאות: העברה חריגה של הרשאות לחשבון שירות בכמה שלבים לפעילות אדמין של AI
  • העלאת רמת ההרשאות: העברה חריגה של הרשאות לחשבון שירות בכמה שלבים לצורך גישה לנתוני AI
  • העלאת רמת הרשאה: התחזות חריגה לחשבון שירות בפעילות של אדמין AI
  • גישה ראשונית: פעילות בחשבון שירות רדום בשירות AI
  • התמדה: מתן הרשאות IAM חריגות לזהות אג'נטית
  • Credential Access: Agentic Identity Credential Used Outside of Google Cloud
  • התמדה: הרשאת AI רגישה נוספה לתפקיד מותאם אישית
  • שימור: תפקיד רגיש שהוענק על ידי סוכן AI
  • שימור: תפקיד רגיש הוענק לסוכן AI חיצוני
  • התחמקות מהגנה: התפקיד 'יצירת אסימונים' ברמת הפרויקט הוענק לסוכן AI
  • התחמקות מהגנה: התפקיד 'יצירת אסימונים' ברמת התיקייה הוענק לסוכן AI
  • התחמקות מהגנה: התפקיד 'יצירת אסימונים' ברמת הארגון הוענק לסוכן AI

רשימה מלאה של הממצאים של Event Threat Detection שרלוונטיים לנכסי AI מופיעה במאמר סקירה כללית של Event Threat Detection.

זיהוי איומים ב-Agent Platform עבור Agent Runtime

התכונה Agent Platform Threat Detection (זיהוי איומים בפלטפורמת הסוכן) (בגרסת Preview) מספקת זיהוי איומים בזמן ריצה לסוכנים שנפרסו ב-Agent Runtime. הוא מנטר סוכנים פעילים כדי לזהות מתקפות פוטנציאליות ומפיק ממצאים ב-Security Command Center.

התכונה 'זיהוי איומים בפלטפורמת הסוכן' יוצרת ממצאים לגבי זמן הריצה של הסוכן, כולל הקטגוריות הבאות:

  • Command and Control: Steganography Tool Detected
  • גישה לפרטי כניסה: מציאת Google Cloud פרטי כניסה
  • Credential Access: GPG Key Reconnaissance
  • גישה לפרטי כניסה: חיפוש מפתחות פרטיים או סיסמאות
  • התחמקות מהגנה: שורת פקודה של קובץ ELF בפורמט Base64
  • התחמקות ממנגנוני הגנה: סקריפט Python בקידוד Base64 הופעל
  • התחמקות מהגנה: הפעלה של סקריפט מעטפת בקידוד Base64
  • התחמקות מהגנה: הפעלת הכלי Code Compiler במאגר
  • ביצוע: הרצת קוד מרחוק של Netcat במאגר
  • הרצה: הרצה אפשרית של פקודות שרירותיות דרך CUPS‏ (CVE-2024-47177)
  • הפעלה: זוהתה הפעלה אפשרית של פקודה מרחוק
  • ביצוע: הפעלת תוכנית עם סביבת שרת proxy ל-HTTP שאסורה
  • ביצוע: זוהה Socat Reverse Shell
  • ביצוע: טעינה של אובייקט משותף חשוד של OpenSSL
  • העברת נתונים: הפעלת כלי להעתקת קבצים מרחוק במאגר
  • השפעה: זיהוי שורות פקודה זדוניות
  • השפעה: הסרת נתונים בכמות גדולה מהדיסק
  • השפעה: פעילות חשודה של כריית קריפטו באמצעות פרוטוקול Stratum
  • העלאת רמת ההרשאות: ניצול לרעה של Sudo להעלאת רמת ההרשאות (CVE-2019-14287)
  • הסלמת הרשאות: נקודת חולשה בהסלמת הרשאות מקומיות ב-Polkit‏ (CVE-2021-4034)
  • הסלמת הרשאות: הסלמת הרשאות פוטנציאלית ב-Sudo‏ (CVE-2021-3156)
  • ביצוע: בוצע Python זדוני
  • ביצוע: פירצה בקונטיינר
  • הרצה: הרצת כלי לתקיפת Kubernetes
  • הרצה: הרצה של כלי לזיהוי נקודות חולשה ברשת המקומית
  • השפעה: סקריפט זדוני הופעל
  • השפעה: זוהתה כתובת URL זדונית
  • ביצוע: מעטפת צאצא לא צפויה

מידע נוסף על זיהוי איומים ב-Agent Platform

הערכת נקודות חולשה ב-Agent Platform

הכלי Agent Platform Vulnerability Assessment (בתצוגה מקדימה) מזהה פגיעויות וסודות בטקסט פשוט, כמו פרטי כניסה, מפתחות, אסימוני גישה או אישורים, בתמונות של קונטיינרים ב-Gemini Enterprise Agent Platform.

מידע נוסף זמין במאמר הערכת פגיעות של פלטפורמת סוכנים בקטע 'שירותי זיהוי'.

Notebook Security Scanner

הכלי Notebook Security Scanner (בגרסת Preview) סורק מחברות Colab Enterprise כדי לזהות פגיעויות בחבילות Python.

מידע נוסף זמין במאמר Notebook Security Scanner בקטע 'שירותי זיהוי'.

Sensitive Data Protection

שירות הגילוי Sensitive Data Protection הוא שירות מנוהל מלא Google Cloudשעוזר לכם לגלות, לסווג ולהגן על מידע אישי רגיש. אתם יכולים להשתמש ב-Sensitive Data Protection כדי לקבוע אם אתם מאחסנים מידע אישי רגיש או פרטים אישיים מזהים (PII).

מידע נוסף זמין במאמר בנושא ממצאים של Sensitive Data Protection בקטע 'שירותי זיהוי'.

הגנה מוגברת על המודל

(הוצאו משימוש)

אחרי שמפעילים את הגנה מוגברת על המודל ומגדירים את הגנה מוגברת על המודל כך שישתלב עם רכיב אחד או יותר שקשורים ל-AI, אפשר לבדוק את הממצאים של הגנה מוגברת על המודל ב-Security Command Center.

בדרגת השירות Standard של Security Command Center, התכונה AI Protection לא תומכת במודלים של Gemini.

כדי להגדיר את הגנה מוגברת על המודל, קראו את המאמר יצירה וניהול של תבניות.

Risk Engine

מנוע הסיכונים הוא תכונה ב-Security Command Center שמעריכה את רמת החשיפה לסיכונים של פריסות הענן שלכם, מקצה ציוני חשיפה להתקפות לממצאים של פגיעויות ולמשאבים בעלי ערך גבוה, ויוצר דיאגרמות של נתיבים שפורץ פוטנציאלי יכול לעבור כדי להגיע למשאבים בעלי ערך גבוה.

מידע נוסף זמין במאמר מנוע הסיכונים בקטע 'שירותי זיהוי'.

משאבים נתמכים ב-AI Protection

הגנת ה-AI מגלה נכסים באמצעות המנגנונים הבאים:

  • נכסי AI דקלרטיביים: נכסים שכלי ניהול מחזור החיים של AI (כמו Gemini Enterprise Agent Platform) עוקבים אחריהם.
  • נכסי AI משוערים: נכסים לשימוש כללי (כמו נכסי מחשוב ואחסון) שמבצעים עיבוד של נתוני AI או עומסי עבודה של AI.
  • מודל כשירות (API בלבד): נכסים שמבצעים קריאות תוכנתיות למודלים של AI של צד ראשון או צד שלישי.

בקטע הזה מוגדרים מלאי נכסי ה-AI והנכסים הנתמכים ש-AI Protection יכול לעזור באבטחתם.

  • Gemini Enterprise & Agent search apps: אלה מערכות AI שיכולות להבין את הסביבה שלהן, לקבל החלטות ולבצע פעולות כדי להשיג יעדים ספציפיים.
  • נקודות קצה: עומסי עבודה של אפליקציות AI נעים בין כלים פנימיים שמטרתם לשפר את הפרודוקטיביות של העובדים לבין פתרונות שפונים לצרכנים ומיועדים לשיפור חוויית המשתמש ולקידום העסק. דוגמאות: סוכני AI, עוזרים וירטואליים, צ'אט בוטים מבוססי-AI להמרת שיחות והמלצות בהתאמה אישית. ניהול סיכונים במערכות AI מזהה את נקודות הקצה האלה כנקודות קצה של Agent Platform בכרטיסייה משאבי AI בדף הנכסים.
  • מקורות נתונים: מקורות הנתונים הנתמכים כוללים טבלאות BigQuery,‏ Cloud Storage, מערכי נתונים של Agent Platform ומאגרי מידע של Gemini Enterprise.
  • מודלים: ההגנה באמצעות AI מזהה מודלים של AI בתור מודלים בסיסיים של AI, מודלים של AI שעברו כוונון עדין, מודלים רגילים של AI מצד ראשון ומודלים של AI בהתאמה אישית. דוגמאות לתוכן מהסוג הזה:
    • ‫Gemini (זמין ברמות השירות Premium ו-Enterprise (הוצא משימוש))
    • Llama
    • מודלים של תרגום
    • מודלים בהתאמה אישית למשימות ספציפיות
  • נכסי AI: נכסי AI תורמים לצינורות של פעולות למידת מכונה ומשמשים לעומסי עבודה של AI. סוגי נכסי ה-AI כוללים את הדוגמאות הבאות:
  • שרתים של Model Context Protocol‏ (MCP): AI Protection מזהה שרתי MCP שמקוטלגים ב-Agent Registry. כדי להשתמש בתכונה הזו, צריך להגדיר את App Hub API בכל פרויקט שמארח שרת MCP.

השפעות של שינויים במדרגת השירות

אם משדרגים לאחור את רמת השירות מ-Premium או מ-Enterprise ל-Standard, השדרוג לאחור משפיע על היכולות שלכם בתחום ההגנה על AI באופן הבא:

  • שירותי זיהוי: Security Command Center משבית שירותי זיהוי ומסגרות של Compliance Manager שלא נתמכים במהדורת Standard. מידע נוסף זמין במאמר בנושא ניהול מסלולי שירות ב-Compliance Manager.
  • תכונות חקירה: לא תהיה לכם יותר גישה לתכונות חקירה מתקדמות, כמו סימולציות של נתיבי תקיפה לנכסי AI, הערכת פגיעות של סוכנים וזיהוי של סוכנים עם הרשאות יתר.
  • ממצאים הופכים ללא פעילים: ממצאים שנוצרו על ידי מסגרות של Compliance Manager שלא נתמכות ברמת Standard הופכים ללא פעילים. מידע נוסף זמין במאמר בנושא ניהול מסלולי שירות ב-Compliance Manager.

אם תשדרגו חזרה לרמה Premium או Enterprise, ‏ Security Command Center ישחזר את התכונות המתקדמות, אבל לא ישחזר באופן אוטומטי פריסות של מסגרות שהוסרו במהלך השדרוג לאחור. צריך לפרוס מחדש את המסגרות באופן ידני.

המאמרים הבאים