Mendeteksi anomali dalam beberapa deret waktu dengan model TimesFM

Tutorial ini mengajarkan cara menggunakan fungsi AI.DETECT_ANOMALIES dengan model TimesFM bawaan BigQuery ML untuk mendeteksi anomali dalam data deret waktu.

Tutorial ini menggunakan data dari tabel publik bigquery-public-data.san_francisco_bikeshare.bikeshare_trips.

Tujuan

Tutorial ini memandu Anda menggunakan fungsi AI.DETECT_ANOMALIES dengan model TimesFM bawaan untuk mendeteksi anomali dalam perjalanan sepeda sewa. Bagian pertama membahas cara mendeteksi anomali dan memvisualisasikan hasil untuk satu deret waktu. Bagian kedua membahas cara mendeteksi anomali untuk beberapa deret waktu.

Biaya

Tutorial ini menggunakan komponen yang dapat ditagih Google Cloud, termasuk:

  • BigQuery
  • BigQuery ML

Untuk informasi selengkapnya tentang biaya BigQuery, lihat halaman harga BigQuery.

Untuk informasi selengkapnya tentang biaya BigQuery ML, lihat harga BigQuery ML.

Sebelum memulai

  1. Login keakun Anda. Google Cloud Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  5. Verify that billing is enabled for your Google Cloud project.

  6. BigQuery secara otomatis diaktifkan dalam project baru. Untuk mengaktifkan BigQuery dalam project yang sudah ada,

    Aktifkan BigQuery API.

    Peran yang diperlukan untuk mengaktifkan API

    Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Admin Service Usage (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.

    Mengaktifkan API

Mendeteksi anomali dalam satu deret waktu perjalanan sepeda sewa

Mendeteksi anomali dalam data deret waktu menggunakan fungsi AI.DETECT_ANOMALIES.

Kueri berikut mendeteksi anomali dalam jumlah perjalanan sepeda sewa per jam untuk bulan Agustus 2017, berdasarkan data historis dari bulan sebelumnya. Argumen anomaly_prob_threshold menunjukkan nilai minimum untuk mengidentifikasi anomali.

Ikuti langkah-langkah berikut untuk mendeteksi anomali dengan model TimesFM:

  1. Di Google Cloud konsol, buka halaman BigQuery.

    Buka BigQuery

  2. Di editor kueri, tempelkan kueri berikut, lalu klik Run. Kueri memerlukan waktu 1-2 menit untuk selesai:

    WITH
  bike_share_trips AS (
    SELECT
      TIMESTAMP_TRUNC(start_date, HOUR) AS trip_hour, COUNT(*) AS num_trips
    FROM `bigquery-public-data.san_francisco_bikeshare.bikeshare_trips`
    GROUP BY TIMESTAMP_TRUNC(start_date, HOUR)
  )
SELECT *
FROM
  AI.DETECT_ANOMALIES(
    (
      SELECT *
      FROM bike_share_trips
      WHERE trip_hour >= TIMESTAMP('2017-07-01') AND trip_hour < TIMESTAMP('2017-08-01')
    ),
    (
      SELECT *
      FROM bike_share_trips
      WHERE trip_hour >= TIMESTAMP('2017-08-01') AND trip_hour < TIMESTAMP('2017-09-01')
    ),
    anomaly_prob_threshold => 0.95,
    timestamp_col => 'trip_hour',
    data_col => 'num_trips');

    Hasilnya akan terlihat seperti berikut:

    +-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
| time_series_timestamp   | time_series_data | is_anomaly | lower_bound        | upper_bound         | anomaly_probability | ai_detect_anomalies_status|
+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
| 2017-08-01 00:00:00 UTC | 13.0             | false      | -1.97939332204...  | 27.604928623830...  | 0.38048622012138... |                           |
+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
| 2017-08-01 01:00:00 UTC | 6.0              | false      | -9.42939322810...  | 20.154928628380...  | 0.38048622012138... |                           |
+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
| ...                     | ...              | ...        | ...                | ...                 | ...                 | ...                       |
+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+

  3. Setelah kueri selesai berjalan, klik tab Visualization. Diagram yang dihasilkan akan terlihat seperti berikut:

    Buat grafik titik waktu satu bulan dari data input bersama dengan data output fungsi AI.DETECT_ANOMALIES untuk menunjukkan anomali.

    Anda dapat mengidentifikasi anomali saat nilai time_series_data berada di luar rentang lower_bound dan upper_bound.

Mendeteksi anomali dalam beberapa deret waktu perjalanan sepeda sewa

Kueri berikut mendeteksi anomali dalam jumlah perjalanan sepeda sewa per jenis pelanggan dan per jam untuk bulan Agustus 2017, berdasarkan data historis dari bulan sebelumnya.

Ikuti langkah-langkah berikut untuk mendeteksi anomali dengan model TimesFM:

  1. Di Google Cloud konsol, buka halaman BigQuery.

    Buka BigQuery

  2. Di editor kueri, tempelkan kueri berikut, lalu klik Run:

    WITH
  bike_share_trips AS (
    SELECT
      TIMESTAMP_TRUNC(start_date, HOUR) AS trip_hour, COUNT(*) AS num_trips, subscriber_type
    FROM `bigquery-public-data.san_francisco_bikeshare.bikeshare_trips`
    GROUP BY TIMESTAMP_TRUNC(start_date, HOUR), subscriber_type
  )
SELECT *
FROM
  AI.DETECT_ANOMALIES(
    (
      SELECT *
      FROM bike_share_trips
      WHERE trip_hour >= TIMESTAMP('2017-07-01') AND trip_hour < TIMESTAMP('2017-08-01')
    ),
    (
      SELECT *
      FROM bike_share_trips
      WHERE trip_hour >= TIMESTAMP('2017-08-01') AND trip_hour < TIMESTAMP('2017-09-01')
    ),
    anomaly_prob_threshold => 0.95,
    timestamp_col => 'trip_hour',
    data_col => 'num_trips',
    id_cols => ['subscriber_type']);

    Hasilnya akan terlihat seperti berikut:

    +-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
| subscriber_type | time_series_timestamp   | time_series_data | is_anomaly | lower_bound        | upper_bound         | anomaly_probability | ai_detect_anomalies_status|
+-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
| Customer        | 2017-08-01 00:00:00 UTC | 13.0             | false      | -1.97939332204...  | 27.604928623830...  | 0.38048622012138... |                           |
+-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
| Customer        | 2017-08-01 01:00:00 UTC | 3.0              | false      | -5.12345678901...  | 10.123456789012...  | 0.12345678901234... |                           |
+-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
| ...             | ...                     | ...              | ...        | ...                | ...                 | ...                 | ...                       |
+-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
| Subscriber      | 2017-08-01 00:00:00 UTC | 13.0             | false      | -1.97939332204...  | 27.604928623830...  | 0.38048622012138... |                           |
+-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
| Subscriber      | 2017-08-01 01:00:00 UTC | 3.0              | false      | -5.12345678901...  | 10.123456789012...  | 0.12345678901234... |                           |
+-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+
| ...             | ...                     | ...              | ...        | ...                | ...                 | ...                 | ...                       |
+-----------------+-------------------------+------------------+------------+--------------------+---------------------+---------------------+---------------------------+

Pembersihan

Agar tidak perlu membayar biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource tersebut, atau simpan project dan hapus setiap resource.

Menghapus project Anda

Untuk menghapus project:

  1. Di Google Cloud konsol, buka halaman Manage resources.

    Buka Kelola resource

  2. Pada daftar project, pilih project yang Anda ingin Anda hapus, lalu klik Delete.
  3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Langkah berikutnya