מערכי נתונים ציבוריים ב-BigQuery

מערך נתונים ציבורי הוא כל מערך נתונים שמאוחסן ב-BigQuery וזמין לציבור הרחב דרך התוכנית של Google Cloud למערכי נתונים ציבוריים. מערכי הנתונים הציבוריים הם מערכי נתונים שמתארחים ב-BigQuery כדי שתוכלו לגשת אליהם ולשלב אותם באפליקציות שלכם. ‫Google משלמת על האחסון של מערכי הנתונים האלה ומספקת גישה ציבורית לנתונים באמצעות פרויקט. התשלום הוא רק על השאילתות שמריצים על הנתונים. ה-1TB‎ הראשון בכל חודש ניתן בחינם, בכפוף לפרטי התמחור של השאילתות.

מערכי נתונים ציבוריים זמינים לניתוח באמצעות שאילתות ב-SQL מדור קודם או ב-GoogleSQL. כשמריצים שאילתות על מערכי נתונים ציבוריים, צריך להשתמש בשם טבלה מוגדר במלואו, לדוגמה bigquery-public-data.bbc_news.fulltext. אם הארגון שלכם מגביל את הגישה לנתונים, למשל באמצעות גבולות אבטחה, יכול להיות שתצטרכו לפנות לאדמין כדי לקבל הרשאה לגשת למערכי נתונים ציבוריים.

אפשר לגשת למערכי נתונים ציבוריים ב-BigQuery באמצעות מסוףGoogle Cloud , באמצעות כלי שורת הפקודה של BigQuery, או באמצעות ביצוע קריאות ל-API בארכיטקטורת REST של BigQuery באמצעות מגוון של ספריות לקוח כמו Java,‏ ‎.NET או Python. אתם יכולים גם לצפות במערכי נתונים ציבוריים ולהריץ עליהם שאילתות באמצעות שיתוף ב-BigQuery (לשעבר Analytics Hub), פלטפורמה להחלפת נתונים שעוזרת לכם לגלות ספריות נתונים ולגשת אליהן.

כברירת מחדל, אי אפשר לגשת למערכי נתונים ציבוריים מתוך מתחם היקפי של VPC Service Controls. אין הסכם רמת שירות (SLA) לתוכנית של מערכי נתונים ציבוריים.

מעבר אל 'שיתוף' (Analytics Hub)

כדי לקבל פרטים נוספים על כל מערך נתונים, לוחצים על השם של מערך הנתונים בקטע Datasets (מערכי נתונים) ב-Cloud Marketplace.

כניסה אל Datasets ב-Cloud Marketplace

לפני שמתחילים

כדי להתחיל להשתמש במערך נתונים ציבורי ב-BigQuery, צריך ליצור פרויקט או לבחור פרויקט קיים. הטרה-בייט הראשון של נתונים שעוברים עיבוד בכל חודש הוא בחינם, כך שאפשר להתחיל להריץ שאילתות על מערכי נתונים ציבוריים בלי להפעיל חיוב. אם אתם מתכוונים לחרוג מהתוכנית בחינם, אתם צריכים גם להפעיל את החיוב.

נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. ‫BigQuery מופעל באופן אוטומטי בפרויקטים חדשים. כדי להפעיל את BigQuery בפרויקט קיים,

   אם BigQuery API לא מופעל, מפעילים אותו.

   תפקידים שנדרשים להפעלת ממשקי API

   כדי להפעיל ממשקי API, נדרשת ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

   להפעלת ה-API

מיקומים של מערכי נתונים ציבוריים

כל מערך נתונים ציבורי מאוחסן במיקום ספציפי כמו US או EU. נכון לעכשיו, טבלאות הדוגמה ב-BigQuery מאוחסנות במיקום US במספר אזורים. כששולחים שאילתה לטבלת דוגמה, צריך לספק את הדגל --location=US בשורת הפקודה, לבחור ב-US כמיקום העיבוד במסוףGoogle Cloud , או לציין את המאפיין location בקטע jobReference של משאב העבודה כשמשתמשים ב-API. מכיוון שטבלאות הדוגמה מאוחסנות בארה"ב, אי אפשר לכתוב תוצאות של שאילתות בטבלאות לדוגמה בטבלה באזור אחר, ואי אפשר לבצע הצטרפות של טבלאות לדוגמה לטבלאות באזור אחר.

גישה למערכי נתונים ציבוריים במסוף Google Cloud

אפשר לגשת למערכי נתונים ציבוריים במסוףGoogle Cloud בשיטות הבאות:

• בחלונית Explorer, צופים בפרויקט bigquery-public-data. מידע נוסף זמין במאמר בנושא פתיחה של מערך נתונים ציבורי.

• אפשר להשתמש בתכונה 'שיתוף' כדי לצפות במערכי נתונים ציבוריים ולהירשם אליהם.

כדי לדעת מתי עודכנה לאחרונה טבלת נתונים, עוברים לקטע פרטים של הטבלה, כמו שמתואר במאמר קבלת מידע על טבלאות, ומסתכלים בשדה השינוי האחרון.

מערכי נתונים ציבוריים אחרים

יש עוד הרבה מערכי נתונים ציבוריים שאפשר להריץ עליהם שאילתות. חלק מהם מתארחים גם ב-Google, אבל הרבה יותר מתארחים אצל צדדים שלישיים. מערכי נתונים אחרים כוללים:

• מערך נתונים של צילומי רנטגן של בית החזה של NIH
• מערך הנתונים The Cancer Imaging Archive (TCIA)
• מערך נתונים של הערות לגבי גרסאות לרוב המוצרים של Google Cloud שזמינים לכולם.

שיתוף מערך נתונים עם הציבור

אתם יכולים לשתף כל מערך נתונים עם הציבור על ידי שינוי אמצעי בקרת הגישה של מערך הנתונים כך שכל המשתמשים המאומתים יוכלו לגשת אליו. מידע נוסף על הגדרת אמצעים לבקרת גישה למערכי נתונים זמין במאמר שליטה בגישה למערכי נתונים.

כשמשתפים מערך נתונים עם הציבור:

• החיוב על אחסון מתבצע בחשבון לחיוב שמצורף לפרויקט שמכיל את מערך הנתונים ששותף באופן ציבורי.
• החיובים על שאילתות חלים על החשבון לחיוב שמצורף לפרויקט שבו מופעלות משימות השאילתה.

מידע נוסף זמין במאמר בנושא סקירה כללית של התמחור ב-BigQuery.

טבלאות לדוגמה

בנוסף למערכי הנתונים הציבוריים, ב-BigQuery יש מספר מוגבל של טבלאות לדוגמה שאפשר להריץ עליהן שאילתות. הטבלאות האלה נמצאות ב מערך הנתונים bigquery-public-data:samples.

הדרישות להרצת שאילתות בטבלאות לדוגמה של BigQuery זהות לדרישות להרצת שאילתות במערכי נתונים ציבוריים.

מערך הנתונים bigquery-public-data:samples כולל את הטבלאות הבאות:

יצירת קשר

אם יש לכם שאלות לגבי התוכנית של מערכי נתונים ציבוריים ב-BigQuery, אתם יכולים לפנות אלינו בכתובת bq-public-data@google.com.

המאמרים הבאים

במאמר מדריך למתחילים לשימוש ב Google Cloud מסוף מוסבר איך לשלוח שאילתה לטבלה בקבוצת נתונים ציבורית.