ייבוא מטא-נתונים מ-MySQL

במסמך הזה מוסבר איך לייבא מטא-נתונים מ-MySQL אל Knowledge Catalog (לשעבר Dataplex Universal Catalog) באמצעות מחבר של Knowledge Catalog.

המחבר הזה תומך במכונות MySQL שמתארחות בתשתית מקומית, ב-Cloud SQL או בסביבות ענן אחרות.

לפני שתוכלו לייבא מטא-נתונים מ-MySQL, תצטרכו לבצע את המשימות הבאות:

1. נותנים את התפקידים וההרשאות הנדרשים.
2. מפעילים את ממשקי ה-API של Knowledge Catalog ושל שירות העברת נתונים ל-BigQuery.
3. עמידה בדרישות המוקדמות של MySQL.
4. עמידה בדרישות המוקדמות בנוגע לרשת.

תפקידים והרשאות של IAM

כדי ליצור ולנהל עבודת מחבר של Knowledge Catalog, צריך תפקידים בניהול זהויות והרשאות גישה (IAM) שמעניקים הרשאות ל-Knowledge Catalog ולשירות העברת נתונים ל-BigQuery.

כדי לקבל את ההרשאות שדרושות להגדרת מחבר MySQL, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

• כדי ליצור ולנהל קבוצות של רשומות: אדמין של Dataplex Catalog (roles/dataplex.catalogAdmin), עורך של Dataplex Catalog (roles/dataplex.catalogEditor) או בעלים של קבוצת רשומות ב-Dataplex (roles/dataplex.entryGroupOwner) בפרויקט.
• כדי ליצור משימות העברה של שירות העברת נתונים ל-BigQuery ולנהל אותן: BigQuery Admin (roles/bigquery.admin) בפרויקט.
• כדי לצפות ביומנים ב-Cloud Logging: מציג היומנים (roles/logging.viewer) בפרויקט.

בנוסף, צריך להעניק לסוכן השירות של שירות העברת הנתונים ל-BigQuery‏ (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) את ההרשאה dataplex.entryGroups.import או את התפקיד Dataplex Entry Group Importer‏ (roles/dataplex.entryGroupImporter). אפשר לתת את התפקיד הזה ברמת הפרויקט או ברמת קבוצת הרשומות.

מידע נוסף על מתן תפקידים זמין במאמר ניהול הגישה.

הפעלת ממשקי ה-API

מפעילים את ממשקי ה-API של Knowledge Catalog ושל שירות העברת נתונים ל-BigQuery.

הפעלת ממשקי ה-API

דרישות מוקדמות ל-MySQL

מוודאים שאתם עומדים בדרישות הסף להעברות של MySQL. פרטים נוספים זמינים במאמר בנושא דרישות מוקדמות ל-MySQL במסמכי התיעוד של שירות העברת הנתונים ל-BigQuery.

בנוסף לדרישות המוקדמות של שירות העברת הנתונים ל-BigQuery, מסד הנתונים של MySQL צריך לעמוד בדרישות הבאות לחילוץ מטא-נתונים:

• גרסה מינימלית: MySQL בגרסה 8.0 ואילך.
• הרשאות מינימליות נדרשות: כלי החילוץ דורש הרשאות ספציפיות כדי לבצע שאילתות ב-INFORMATION_SCHEMA ולאסוף מטא-נתונים.

ההרשאות האלה מבטיחות את הכיסוי של המטא-נתונים הבאים:

• פרטי המופע ומסד הנתונים: שם המארח, היציאה, הגרסה והגדרות הסכימה.
• טבלאות ועמודות: המבנה הבסיסי, סוגי הנתונים ומטא נתונים תפעוליים, כמו גדלים ומספר השורות.
• אינדקסים ומחיצות: אינדקסים משניים, שיטות חלוקה למחיצות וביטויים.
• תצוגות: הגדרות ומבנים של טבלאות וירטואליות.
• שגרות: פרוצדורות מאוחסנות, פונקציות והפרמטרים שלהן.
• אילוצים: אילוצים מפורטים של מפתח ראשי, מפתח זר, ייחודיות ובדיקה.
• טריגרים: הגדרות של טריגרים ותזמון של אירועים.

כדי להעניק את ההרשאות האלה, מריצים את סקריפטי ה-SQL הבאים.

1. יוצרים את המשתמש:

   CREATE USER 'USERNAME'@'%'
   IDENTIFIED BY 'PASSWORD';
   

2. הענקת גישה למטא-נתונים. אפשר להעניק גישה למסד נתונים יעד יחיד או לכל מסדי הנתונים במופע.

   כדי להעניק גישה למסד נתונים או לסכימה יחידים של יעד:

   GRANT SELECT, SHOW VIEW, REFERENCES, EXECUTE, TRIGGER
   ON DATABASE_NAME.*
   TO 'USERNAME'@'%';
   

   לחלופין, כדי להעניק גישה לכל מסדי הנתונים במופע:

   GRANT SELECT, SHOW VIEW, REFERENCES, EXECUTE, TRIGGER
   ON *.*
   TO 'USERNAME'@'%';
   

3. מאפשרים לכלי החילוץ לרשום את כל מסדי הנתונים שזמינים במופע:

   GRANT SHOW DATABASES ON *.* TO 'USERNAME'@'%';
   

4. מחילים את השינויים:

   FLUSH PRIVILEGES;
   

מחליפים את מה שכתוב בשדות הבאים:

• ‫USERNAME: משתמש מסד הנתונים שרוצים להגדיר.
• ‫PASSWORD: הסיסמה של משתמש מסד הנתונים.
• ‫DATABASE_NAME: השם של מסד הנתונים של MySQL שרוצים לגשת אליו.

דרישות מוקדמות בנושא רשת

כדי להתחבר בצורה מאובטחת למסדי נתונים חיצוניים או למקורות נתונים בענן של צד שלישי עם כתובת IP פרטית בתוך רשת פרטית, נדרש מחבר רשת לחיבור דרך Private Service Connect, כדי לאפשר לשירות העברת נתונים ל-BigQuery לגשת למסד הנתונים.

אם מתחברים לסביבה מקומית או למופע שמתארח בענן באמצעות כתובת IP ציבורית, לא נדרש מחבר רשת.

הגדרת מחבר MySQL

מגדירים מחבר MySQL באמצעות מסוף Google Cloud או API.

אחרי שיוצרים את העבודה, Knowledge Catalog מתזמן את ההרצה הראשונה בהתאם להגדרות, או שאפשר להתחיל אותה באופן ידני.

חיפוש והצגה של מטא-נתונים של MySQL

1. נכנסים לדף Search בKnowledge Catalog במסוף Google Cloud .

   מעבר אל חיפוש

2. בחלונית Filters, אפשר לסנן נכסי MySQL באמצעות הקטעים Project,‏ System ו-Type aliases. בקטע מערכת, בוחרים באפשרות הקשר מיובא. כשבוחרים במסנן הזה, נפתח קטע המשנה Managed Connectors (מחברים מנוהלים). בוחרים באפשרות MySQL כדי לסנן את כל המטא-נתונים של MySQL.

3. אפשר להשתמש בשדה החיפוש כדי להריץ שאילתות חיפוש. אפשר לבצע חיפוש של מילות מפתח או חיפוש בשפה טבעית. לדוגמה, כדי להציג את כל טבלאות MySQL באמצעות חיפוש מילות מפתח, מזינים system=MYSQL AND type=TABLE.

   למידע נוסף על חיפוש משאבים, אפשר לעיין במאמר חיפוש משאבים ב-Knowledge Catalog. מידע נוסף על הביטויים שאפשר להשתמש בהם בשדה החיפוש זמין במאמר תחביר החיפוש ב-Knowledge Catalog.

4. אפשר גם להשתמש ב-API‏ LookupContext כדי לאחזר הקשר של LLM למשאבי MySQL ספציפיים.

המאמרים הבאים

• איך מנהלים את עבודות המחבר