חיזוי של סדרת זמן אחת באמצעות מודל רב-משתני

יצירת מערך נתונים

כדי ליצור מערך נתונים ב-BigQuery, בוחרים באחת מהאפשרויות הבאות:

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

יצירת טבלה של נתוני קלט

ליצור טבלת נתונים שאפשר להשתמש בה כדי לאמן את המודל ולהעריך אותו. הטבלה הזו משלבת עמודות מכמה טבלאות במערך הנתונים bigquery-public-data.epa_historical_air_quality כדי לספק נתוני מזג אוויר יומיים. יוצרים גם את העמודות הבאות כדי להשתמש בהן כמשתני קלט למודל:

• ‫date: התאריך של התצפית
• pm25 הערך הממוצע של PM2.5 לכל יום
• ‫wind_speed: מהירות הרוח הממוצעת בכל יום
• ‫temperature: הטמפרטורה הכי גבוהה בכל יום

בשאלת ה-GoogleSQL הבאה, הסעיף FROM bigquery-public-data.epa_historical_air_quality.*_daily_summary מציין שאתם מריצים שאילתה על הטבלאות *_daily_summary במערך הנתונים epa_historical_air_quality. הטבלאות האלה הן טבלאות מחולקות למחיצות.

כדי ליצור את טבלת נתוני הקלט:

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בעורך השאילתות, מדביקים את השאילתה הבאה ולוחצים על Run:

   CREATE TABLE `bqml_tutorial.seattle_air_quality_daily`
   AS
   WITH
     pm25_daily AS (
       SELECT
         avg(arithmetic_mean) AS pm25, date_local AS date
       FROM
         `bigquery-public-data.epa_historical_air_quality.pm25_nonfrm_daily_summary`
       WHERE
         city_name = 'Seattle'
         AND parameter_name = 'Acceptable PM2.5 AQI & Speciation Mass'
       GROUP BY date_local
     ),
     wind_speed_daily AS (
       SELECT
         avg(arithmetic_mean) AS wind_speed, date_local AS date
       FROM
         `bigquery-public-data.epa_historical_air_quality.wind_daily_summary`
       WHERE
         city_name = 'Seattle' AND parameter_name = 'Wind Speed - Resultant'
       GROUP BY date_local
     ),
     temperature_daily AS (
       SELECT
         avg(first_max_value) AS temperature, date_local AS date
       FROM
         `bigquery-public-data.epa_historical_air_quality.temperature_daily_summary`
       WHERE
         city_name = 'Seattle' AND parameter_name = 'Outdoor Temperature'
       GROUP BY date_local
     )
   SELECT
     pm25_daily.date AS date, pm25, wind_speed, temperature
   FROM pm25_daily
   JOIN wind_speed_daily USING (date)
   JOIN temperature_daily USING (date);

המחשת נתוני הקלט

לפני שיוצרים את המודל, אפשר להציג את נתוני סדרות הזמן של הקלט כדי לקבל מושג לגבי ההתפלגות. אפשר לעשות את זה באמצעות Data Studio.

כדי להציג את נתוני סדרת הזמנים:

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בעורך השאילתות, מדביקים את השאילתה הבאה ולוחצים על Run:

   SELECT
     *
   FROM
     `bqml_tutorial.seattle_air_quality_daily`;

3. כשהשאילתה מסתיימת, לוחצים על Open in (פתיחה ב) > Data Studio. ‫Data Studio ייפתח בכרטיסייה חדשה. מבצעים את השלבים הבאים בכרטיסייה החדשה.

4. ב-Data Studio, לוחצים על הוספה > תרשים של סדרת זמנים.

5. בחלונית תרשים, בוחרים בכרטיסייה הגדרה.

6. בקטע Metric (מדד), מוסיפים את השדות pm25,‏ temperature ו-wind_speed, ומסירים את מדד ברירת המחדל Record Count (מספר הרשומות). התרשים שיתקבל ייראה כך:

   

   כשמסתכלים על התרשים, אפשר לראות שלסדרת הזמנים של נתוני הקלט יש דפוס עונתי שבועי.

יצירת מודל של סדרת זמנים

יוצרים מודל של סדרת זמנים כדי לחזות את ערכי חומר חלקיקי, שמיוצגים בעמודה pm25, באמצעות הערכים בעמודות pm25, wind_speed ו-temperature כמשתני קלט. מאמנים את המודל על נתוני איכות האוויר מהטבלה bqml_tutorial.seattle_air_quality_daily, ובוחרים את הנתונים שנאספו בין 1 בינואר 2012 ל-31 בדצמבר 2020.

בשאילתה הבאה, פסוקית OPTIONS(model_type='ARIMA_PLUS_XREG', time_series_timestamp_col='date', ...) מציינת שאתם יוצרים מודל ARIMA עם רגרסורים חיצוניים. אפשרות auto_arima של הצהרת CREATE MODEL מוגדרת כברירת מחדל ל-TRUE, ולכן האלגוריתם auto.ARIMA מכוונן אוטומטית את ההיפרפרמטרים במודל. האלגוריתם מתאים עשרות מודלים פוטנציאליים ובוחר את המודל הטוב ביותר, שהוא המודל עם קריטריון המידע של אקייק (AIC) הנמוך ביותר. אפשרות data_frequency של הצהרות CREATE MODEL מוגדרת כברירת מחדל לערך AUTO_FREQUENCY, כך שתהליך האימון מסיק אוטומטית את תדירות הנתונים של סדרת הזמן של הקלט.

כדי ליצור את המודל:

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בעורך השאילתות, מדביקים את השאילתה הבאה ולוחצים על Run:

   CREATE OR REPLACE
     MODEL
       `bqml_tutorial.seattle_pm25_xreg_model`
     OPTIONS (
       MODEL_TYPE = 'ARIMA_PLUS_XREG',
       time_series_timestamp_col = 'date',  # Identifies the column that contains time points
       time_series_data_col = 'pm25')       # Identifies the column to forecast
   AS
   SELECT
     date,                                  # The column that contains time points
     pm25,                                  # The column to forecast
     temperature,                           # Temperature input to use in forecasting
     wind_speed                             # Wind speed input to use in forecasting
   FROM
     `bqml_tutorial.seattle_air_quality_daily`
   WHERE
     date
     BETWEEN DATE('2012-01-01')
     AND DATE('2020-12-31');

   השאילתה נמשכת כ-20 שניות, ואחריה אפשר לגשת למודל seattle_pm25_xreg_model. מכיוון שהשאילתה משתמשת בהצהרת CREATE MODEL כדי ליצור מודל, לא מוצגות תוצאות של השאילתה.

הערכת המודלים המועמדים

כדי להעריך את המודלים של סדרות הזמן, משתמשים בפונקציה ML.ARIMA_EVALUATE. הפונקציה ML.ARIMA_EVALUATE מציגה את מדדי ההערכה של כל המודלים הפוטנציאליים שהוערכו במהלך תהליך האופטימיזציה האוטומטית של היפרפרמטרים.

כדי להעריך את המודל, פועלים לפי השלבים הבאים:

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בעורך השאילתות, מדביקים את השאילתה הבאה ולוחצים על Run:

   SELECT
    *
   FROM
    ML.ARIMA_EVALUATE(MODEL `bqml_tutorial.seattle_pm25_xreg_model`);

   התוצאות אמורות להיראות כך:

   

   עמודות הפלט non_seasonal_p,‏ non_seasonal_d,‏ non_seasonal_q ו-has_drift מגדירות מודל ARIMA בצינור העיבוד לאימון. עמודות הפלט log_likelihood, AIC ו-variance רלוונטיות לתהליך ההתאמה של מודל ARIMA.

   האלגוריתם auto.ARIMA משתמש במבחן KPSS כדי לקבוע את הערך הטוב ביותר ל-non_seasonal_d, שהוא במקרה הזה 1. אם non_seasonal_d הוא 1, אלגוריתם auto.ARIMA מאמן 42 מודלים שונים של ARIMA במקביל. בדוגמה הזו, כל 42 המודלים הפוטנציאליים תקפים, ולכן הפלט מכיל 42 שורות, שורה אחת לכל מודל ARIMA פוטנציאלי. במקרים שבהם חלק מהמודלים לא תקפים, הם לא נכללים בפלט. המודלים האלה מוחזרים בסדר עולה לפי AIC. למודל בשורה הראשונה יש את ערך ה-AIC הכי נמוך, והוא נחשב למודל הכי טוב. המודל הטוב ביותר נשמר כמודל הסופי ומשמש להפעלת פונקציות כמו ML.FORECAST במודל.

   העמודה seasonal_periods מכילה מידע על הדפוס העונתי שזוהה בנתוני סדרת הזמנים. הערך הזה לא קשור למודל ARIMA, ולכן הוא זהה בכל שורות הפלט. הדוח מציג דפוס שבועי, שתואם לתוצאות שראיתם אם בחרתם להציג את נתוני הקלט.

   העמודות has_holiday_effect,‏ has_spikes_and_dips ו-has_step_changes מספקות מידע על נתוני סדרת הזמנים של הקלט, והן לא קשורות למודל ARIMA. העמודות האלה מוחזרות כי הערך של האפשרות decompose_time_series בהצהרת CREATE MODEL הוא TRUE. הערכים בעמודות האלה זהים בכל שורות הפלט.

   בעמודה error_message מוצגות שגיאות שהתרחשו במהלך תהליך ההתאמה auto.ARIMA. אחת הסיבות האפשריות לשגיאות היא שהעמודות non_seasonal_p, non_seasonal_d, non_seasonal_q ו-has_drift שנבחרו לא מאפשרות לייצב את סדרת הזמנים. כדי לאחזר את הודעת השגיאה של כל המודלים המועמדים, מגדירים את האפשרות show_all_candidate_models לערך TRUE כשיוצרים את המודל.

   מידע נוסף על עמודות הפלט זמין במאמר בנושא הפונקציה ML.ARIMA_EVALUATE.

בדיקת המקדמים של המודל

בודקים את המקדמים של מודל סדרת הזמנים באמצעות הפונקציה ML.ARIMA_COEFFICIENTS.

כדי לאחזר את המקדמים של המודל:

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בעורך השאילתות, מדביקים את השאילתה הבאה ולוחצים על Run:

   SELECT
    *
   FROM
    ML.ARIMA_COEFFICIENTS(MODEL `bqml_tutorial.seattle_pm25_xreg_model`);

   התוצאות אמורות להיראות כך:

   

   בעמודת הפלט ar_coefficients מוצגים מקדמי המודל של החלק האוטו-רגרסיבי (AR) של מודל ARIMA. באופן דומה, בעמודת הפלט ma_coefficients מוצגים מקדמי המודל של החלק של הממוצע הנע (MA) במודל ARIMA. שתי העמודות האלה מכילות ערכי מערך, שהאורך שלהם שווה ל-non_seasonal_p ול-non_seasonal_q, בהתאמה. אפשר לראות בפלט של הפונקציה ML.ARIMA_EVALUATE שהמודל הכי טוב הוא בעל ערך non_seasonal_p של 0 וערך non_seasonal_q של 5. לכן, בפלט ML.ARIMA_COEFFICIENTS, הערך של ar_coefficients הוא מערך ריק והערך של ma_coefficients הוא מערך עם 5 רכיבים. הערך intercept_or_drift הוא האיבר הקבוע במודל ARIMA.

   בעמודות הפלט processed_input, weight ו-category_weights מוצגים המשקלים של כל תכונה והנקודה שבה הגרף חותך את ציר ה-Y במודל הרגרסיה הלינארית. אם התכונה היא תכונה מספרית, המשקל שלה מופיע בעמודה weight. אם התכונה היא תכונה קטגורית, הערך category_weights הוא מערך של ערכי struct, שכל אחד מהם מכיל את השם והמשקל של קטגוריה נתונה.

   מידע נוסף על עמודות הפלט זמין במאמר בנושא הפונקציה ML.ARIMA_COEFFICIENTS.

שימוש במודל לחיזוי נתונים

אפשר לחזות ערכים עתידיים של סדרות עיתיות באמצעות הפונקציה ML.FORECAST.

בשאילתת GoogleSQL הבאה, פסוקית STRUCT(30 AS horizon, 0.8 AS confidence_level) מציינת שהשאילתה חוזה 30 נקודות זמן עתידיות, ומפיקה מרווח חיזוי עם רמת סמך של 80%.

כדי לחזות נתונים באמצעות המודל:

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בעורך השאילתות, מדביקים את השאילתה הבאה ולוחצים על Run:

   SELECT
     *
   FROM
     ML.FORECAST(
       MODEL `bqml_tutorial.seattle_pm25_xreg_model`,
       STRUCT(30 AS horizon, 0.8 AS confidence_level),
       (
         SELECT
           date,
           temperature,
           wind_speed
         FROM
           `bqml_tutorial.seattle_air_quality_daily`
         WHERE
           date > DATE('2020-12-31')
       ));

   התוצאות אמורות להיראות כך:

   

   שורות הפלט מסודרות בסדר כרונולוגי לפי ערך העמודה forecast_timestamp. בתחזית של סדרת זמן, מרווח החיזוי, שמיוצג על ידי ערכי העמודות prediction_interval_lower_bound ו-prediction_interval_upper_bound, חשוב לא פחות מערך העמודה forecast_value. הערך של forecast_value הוא נקודת האמצע של מרווח החיזוי. מרווח החיזוי תלוי בערכים של העמודות standard_error ו-confidence_level.

   מידע נוסף על עמודות הפלט זמין במאמר בנושא הפונקציה ML.FORECAST.

הערכת רמת הדיוק של התחזיות

כדי להעריך את דיוק התחזית של המודל, משתמשים בפונקציה ML.EVALUATE.

בשילתת GoogleSQL הבאה, המשפט השני SELECT מספק את הנתונים עם התכונות העתידיות, שמשמשות לחיזוי הערכים העתידיים כדי להשוות אותם לנתונים בפועל.

כדי להעריך את רמת הדיוק של המודל:

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בעורך השאילתות, מדביקים את השאילתה הבאה ולוחצים על Run:

   SELECT
     *
   FROM
     ML.EVALUATE(
       MODEL `bqml_tutorial.seattle_pm25_xreg_model`,
       (
         SELECT
           date,
           pm25,
           temperature,
           wind_speed
         FROM
           `bqml_tutorial.seattle_air_quality_daily`
         WHERE
           date > DATE('2020-12-31')
       ),
       STRUCT(
         TRUE AS perform_aggregation,
         30 AS horizon));

   התוצאות אמורות להיראות כך:

   

   מידע נוסף על עמודות הפלט זמין במאמר בנושא הפונקציה ML.EVALUATE.

הסבר על תוצאות התחזית

אפשר לקבל מדדים של יכולת הסבר בנוסף לנתוני התחזית באמצעות הפונקציה ML.EXPLAIN_FORECAST. הפונקציה ML.EXPLAIN_FORECAST חוזה ערכים עתידיים של סדרות זמן, וגם מחזירה את כל הרכיבים הנפרדים של סדרת הזמן.

בדומה לפונקציה ML.FORECAST, פסוקית STRUCT(30 AS horizon, 0.8 AS confidence_level) שמשמשת בפונקציה ML.EXPLAIN_FORECAST מציינת שהשאילתה חוזה 30 נקודות זמן עתידיות ומפיקה רווח בר-סמך עם רמת סמך של 80%.

כדי להסביר את התוצאות של המודל:

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בעורך השאילתות, מדביקים את השאילתה הבאה ולוחצים על Run:

   SELECT
     *
   FROM
     ML.EXPLAIN_FORECAST(
       MODEL `bqml_tutorial.seattle_pm25_xreg_model`,
       STRUCT(30 AS horizon, 0.8 AS confidence_level),
       (
         SELECT
           date,
           temperature,
           wind_speed
         FROM
           `bqml_tutorial.seattle_air_quality_daily`
         WHERE
           date > DATE('2020-12-31')
       ));

   התוצאות אמורות להיראות כך:

   

   שורות הפלט מסודרות בסדר כרונולוגי לפי ערך העמודה time_series_timestamp

   מידע נוסף על עמודות הפלט זמין במאמר בנושא הפונקציה ML.EXPLAIN_FORECAST.