Menjadwalkan pipeline

Dokumen ini menjelaskan cara menjadwalkan pipeline BigQuery, termasuk cara menjadwalkan pipeline dan memeriksa eksekusi pipeline terjadwal.

Pipeline didukung oleh Dataform. Setiap jadwal pipeline dijalankan menggunakan kredensial pengguna Akun Google Anda atau akun layanan kustom yang Anda pilih saat mengonfigurasi jadwal.

Perubahan yang Anda lakukan pada pipeline akan disimpan secara otomatis, tetapi hanya tersedia untuk Anda dan pengguna yang diberi peran Admin Dataform di project. Untuk memperbarui jadwal dengan versi baru pipeline, Anda harus men-deploy pipeline. Deployment memperbarui jadwal untuk menggunakan versi pipeline Anda saat ini. Jadwal selalu menjalankan versi yang di-deploy terbaru.

Jadwal pipeline yang berisi notebook menggunakan spesifikasi runtime default. Selama menjalankan pipeline terjadwal yang berisi notebook, BigQuery akan menulis output notebook ke bucket Cloud Storage yang dipilih selama pembuatan jadwal.

Sebelum memulai

Sebelum memulai, buat pipeline.

Mengaktifkan penjadwalan pipeline

Untuk menjadwalkan pipeline, Anda harus memberikan peran berikut ke akun layanan kustom yang akan digunakan untuk jadwal pipeline:

Service Account User (roles/iam.serviceAccountUser)

Ikuti Memberikan satu peran di akun layanan untuk menambahkan akun layanan Anda sebagai akun utama ke akun layanan itu sendiri. Dengan kata lain, tambahkan akun layanan sebagai akun utama ke akun layanan yang sama. Kemudian, berikan peran Service Account User kepada akun utama ini.

Jika pipeline Anda berisi kueri SQL, Anda harus memberikan peran berikut ke akun layanan kustom atau Akun Google yang akan Anda gunakan untuk jadwal pipeline:

BigQuery Job User (roles/bigquery.jobUser)

Ikuti Memberi satu peran di project untuk memberi peran BigQuery Job User ke Akun Layanan kustom atau Akun Google di project tempat pipeline Anda membaca data.

BigQuery Data Viewer (roles/bigquery.dataViewer)

Ikuti Memberi satu peran di project untuk memberikan peran BigQuery Data Viewer ke akun layanan kustom atau Akun Google di project tempat pipeline Anda membaca data.

BigQuery Data Editor (roles/bigquery.dataEditor)

Ikuti Memberi satu peran di project untuk memberikan peran BigQuery Data Editor ke akun layanan kustom atau Akun Google di project tempat pipeline Anda menulis data.

Jika pipeline Anda berisi notebook, Anda harus memberikan peran berikut ke akun layanan kustom atau Akun Google yang akan Anda gunakan untuk jadwal pipeline:

Notebook Executor User (roles/aiplatform.notebookExecutorUser)

Ikuti Memberi satu peran di project untuk memberikan peran Notebook Executor User ke akun layanan kustom atau Akun Google di project yang dipilih.

Storage Admin (roles/storage.admin)

Ikuti Menambahkan prinsipal ke kebijakan tingkat bucket untuk menambahkan akun layanan kustom atau Akun Google sebagai prinsipal ke bucket Cloud Storage yang akan Anda gunakan untuk menyimpan output notebook yang dijalankan dalam eksekusi pipeline terjadwal, lalu berikan peran Admin Storage kepada prinsipal ini.

Selain itu, Anda harus memberikan peran berikut kepada agen layanan Dataform default:

Service Account Token Creator (roles/iam.serviceAccountTokenCreator)

Ikuti Memberi akses pembuatan token ke akun layanan untuk menambahkan agen layanan Dataform default sebagai akun utama ke akun layanan Anda, dan memberikan peran Service Account Token Creator kepada akun utama ini.

Service Account User (roles/iam.serviceAccountUser)

Ikuti Memberi atau mencabut beberapa peran IAM menggunakan Google Cloud konsol untuk memberikan peran Pengguna Akun Layanan kepada agen layanan Dataform default di akun layanan kustom.

Untuk mengaktifkan pengayaan metadata di Knowledge Catalog (Pratinjau), Anda harus mengaktifkan Dataplex API. Selain itu, Anda harus memberikan peran berikut pada project atau pada grup entri @bigquery ke akun layanan kustom atau Akun Google yang akan Anda gunakan untuk jadwal pipeline:

Peran Dataplex Catalog Editor (roles/dataplex.catalogEditor)

Ikuti Memberikan satu peran pada project untuk memberikan peran Editor Katalog Dataplex ke akun layanan kustom atau Akun Google di project atau grup entri @bigquery.

Untuk mempelajari lebih lanjut akun layanan di Dataform, lihat Tentang akun layanan di Dataform.

Persyaratan Kontrol Layanan VPC

Jika Anda menggunakan Kontrol Layanan VPC untuk melindungi pipeline, Anda harus mengetahui bahwa run terjadwal didukung oleh Dataform. Saat Anda mengonfigurasi Kontrol Layanan VPC untuk menjalankan tugas terjadwal, pastikan persyaratan berikut terpenuhi:

• Anda harus menyetel dataform.restrictGitRemotes Layanan Kebijakan Organisasi.
• Dataform dan BigQuery harus dibatasi oleh perimeter layanan Kontrol Layanan VPC yang sama.
• Agar pengguna dapat melakukan autentikasi dengan kredensial pengguna untuk Akun Google mereka saat menjadwalkan atau memicu eksekusi secara manual, Anda harus menambahkan identitas pengguna mereka ke aturan ingress Anda. Untuk mengetahui informasi selengkapnya, lihat Memperbarui kebijakan ingress dan egress untuk perimeter layanan dan Referensi aturan ingress.

Untuk mengetahui langkah-langkah konfigurasi dan pertimbangan keamanan yang mendetail, lihat Mengonfigurasi Kontrol Layanan VPC untuk Dataform.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk mengelola pipeline, minta administrator untuk memberi Anda peran IAM berikut:

• Melihat dan mengelola jadwal:
  • Dataform Admin (roles/dataform.admin) di pipeline
  • Dataform Editor (roles/dataform.editor) di project
• Melihat dan menjalankan pipeline:
  • Dataform Viewer (roles/dataform.viewer) di project
  • BigQuery Job User (roles/bigquery.jobUser) di project
• Menjalankan jadwal pipeline dengan kredensial pengguna untuk Akun Google: BigQuery Job User (roles/bigquery.jobUser) di project
• Jalankan jadwal pipeline dengan akun layanan kustom: Pengguna Akun Layanan (roles/iam.serviceAccountUser) di akun layanan kustom
• Mengelola jadwal pipeline di folder pengguna:
  • Pemilik Kode (roles/dataform.codeOwner) di folder
  • Code Editor (roles/dataform.codeEditor) di folder
• Mengelola jadwal pipeline di folder tim:
  • Pemilik Folder Tim (roles/dataform.teamFolderOwner) di folder tim
  • Kontributor Folder Tim (roles/dataform.teamFolderContributor) di folder tim
• Mengelola pipeline di repositori Git: Pengguna OAuth Developer Connect (roles/developerconnect.oauthUser) di project
• Aktifkan pengayaan metadata: Dataplex Catalog Editor (roles/dataplex.catalogEditor) di project atau grup entri @bigquery

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk meningkatkan keamanan penjadwalan, lihat Menerapkan izin penjadwalan yang ditingkatkan.

Untuk mengetahui informasi selengkapnya tentang IAM Dataform, lihat Mengontrol akses dengan IAM.

Untuk mengetahui informasi selengkapnya tentang peran untuk folder, lihat Membuat dan mengelola folder.

Untuk mengetahui informasi selengkapnya tentang peran untuk repositori Git, lihat Mengelola kode dengan repositori Git BigQuery Studio.

Untuk menggunakan template runtime notebook Colab saat menjadwalkan pipeline, Anda memerlukan peran Pengguna Runtime Notebook (roles/aiplatform.notebookRuntimeUser).

Membuat jadwal pipeline

Anda juga dapat menggunakan halaman Pipelines & Connections untuk menjadwalkan pipeline Dataform menggunakan alur kerja khusus BigQuery yang disederhanakan. Fitur ini berada dalam pratinjau.

Untuk membuat jadwal pipeline, ikuti langkah-langkah berikut:

Memberi otorisasi pada Akun Google Anda

Untuk mengautentikasi resource dengan kredensial pengguna Akun Google Anda, Anda harus memberikan izin secara manual agar pipeline BigQuery mendapatkan token akses untuk Akun Google Anda dan mengakses data sumber atas nama Anda. Anda dapat memberikan persetujuan manual dengan antarmuka dialog OAuth. Jika Anda memilih Opsi akses yang diperluas, Anda harus memberikan akses ke layanan tersebut—misalnya, Google Drive atau Knowledge Catalog.

Anda hanya perlu memberikan izin ke pipeline BigQuery satu kali.

Untuk mencabut izin yang Anda berikan, ikuti langkah-langkah berikut:

1. Buka halaman Akun Google Anda.
2. Klik BigQuery Pipelines.
3. Klik Hapus akses.

Mengubah pemilik jadwal pipeline dengan mengupdate kredensial juga memerlukan persetujuan manual jika pemilik Akun Google baru belum pernah membuat jadwal sebelumnya.

Jika pipeline Anda berisi notebook, Anda juga harus memberikan izin secara manual agar Colab Enterprise mendapatkan token akses untuk Akun Google Anda dan mengakses data sumber atas nama Anda. Anda hanya perlu memberikan izin satu kali. Anda dapat mencabut izin ini di halaman Akun Google.

Penjadwalan berbasis pemicu

Anda dapat mengonfigurasi pipeline BigQuery untuk memicu eksekusi secara otomatis berdasarkan pembaruan pada tabel BigQuery tertentu. Anda dapat membuat jadwal berbasis pemicu untuk mengotomatiskan eksekusi pipeline sebagai respons terhadap perubahan pada data BigQuery Anda, bukan pada jadwal tetap.

Saat mendeteksi perubahan pada tabel yang ditentukan, pipeline akan memicu eksekusi baru alur kerja terkait. Anda dapat menentukan kondisi berdasarkan pembaruan pada satu tabel, semua tabel dalam sekumpulan tabel, atau tabel mana pun dalam sekumpulan tabel.

Anda juga dapat menyesuaikan setelan opsional jadwal berbasis pemicu untuk mengontrol interval minimum antara pemicu pipeline. Misalnya, sesuaikan nilai Durasi Eksekusi Min untuk memastikan jadwal berbasis pemicu tidak diaktifkan lebih sering dari yang diinginkan. Anda juga dapat menyesuaikan nilai Durasi Tunggu Maksimum untuk memastikan bahwa jadwal berbasis pemicu dipaksa untuk diaktifkan sekali dalam durasi tersebut, meskipun tidak ada pembaruan tabel yang terdeteksi.

Batasan

Jadwal berbasis pemicu tunduk pada batasan berikut:

• Jadwal berbasis pemicu tidak langsung diterapkan. Saat Anda mengonfigurasi jadwal berbasis pemicu, pipeline akan memeriksa status tabel BigQuery kira-kira sekali setiap 3 menit. Periode waktu ini disebut interval polling dan dapat menyebabkan penundaan antara modifikasi tabel dan aktivasi pemicu.
• Setiap tabel yang dipantau menghasilkan panggilan API ke BigQuery selama setiap interval polling. Memantau sejumlah besar tabel dapat berkontribusi pada penggunaan kuota BigQuery API.

Buat pemicu

Untuk membuat pemicu, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Buka pipeline Anda di Penampil Pipeline dengan melakukan salah satu tindakan berikut:

   • Di panel kiri, klik folder File, luaskan folder Pengguna atau Folder tim, lalu pilih pipeline.
   • Di panel kiri, klik explore Explorer, luaskan project Anda, klik Pipelines, lalu pilih pipeline.

3. Di toolbar Pipeline Viewer, klik Trigger.

4. Di kolom Pemicu, masukkan nama untuk pemicu.

5. Di bagian Authentication, berikan otorisasi pada pipeline dengan kredensial pengguna Akun Google Anda atau akun layanan.

   • Untuk menggunakan kredensial pengguna Akun Google Anda (Pratinjau), pilih Jalankan dengan kredensial pengguna saya.
   • Untuk menggunakan akun layanan, pilih Jalankan dengan akun layanan yang dipilih, lalu pilih akun layanan.

6. Jika pipeline Anda berisi notebook, di bagian Opsi notebook, di kolom Template runtime, pilih template runtime notebook Colaboratory atau spesifikasi runtime default. Untuk mengetahui detail tentang cara membuat template runtime notebook Colab, lihat Membuat template runtime.

7. Jika pipeline Anda berisi notebook, di bagian Opsi notebook, di kolom Bucket Cloud Storage, klik Jelajahi, lalu pilih atau buat bucket Cloud Storage untuk menyimpan output notebook di pipeline Anda.

   Akun layanan yang Anda pilih harus diberi peran IAM Storage Admin di bucket yang dipilih. Untuk mengetahui informasi selengkapnya, lihat Mengaktifkan penjadwalan pipeline.

8. Di bagian Configuration Type, pilih Trigger (event-based execution).

9. Di kolom Telusuri tabel, tambahkan satu atau beberapa tabel yang akan dipantau untuk pemicu.

10. Di bagian Kondisi Pemicu, pilih salah satu opsi berikut:

    • Tunggu hingga SEMUA tabel diperbarui: memicu alur kerja hanya jika semua tabel yang tercantum telah diperbarui sejak pemeriksaan terakhir.
    • Picu jika ADA pembaruan tabel: picu alur kerja ini jika ada tabel yang tercantum diperbarui sejak pemeriksaan terakhir.

11. (Opsional) Untuk Durasi Tunggu Maksimum, masukkan durasi untuk memaksakan aktivasi pemicu jika tidak ada update tabel yang terdeteksi dalam durasi ini. Mendukung nilai antara 1 detik hingga 7 hari. Jika tidak ditentukan, alur kerja hanya akan berjalan jika tabel yang dipantau diperbarui, dan durasi eksekusi minimum terpenuhi.

12. (Opsional) Untuk Durasi Eksekusi Min, pilih durasi untuk mencegah pemicu diaktifkan lebih sering daripada durasi minimum ini. Mendukung nilai antara 3 menit hingga 24 jam. Jika tidak ditentukan, nilai defaultnya adalah 3 menit.

13. Klik Buat jadwal. Jika Anda memilih Jalankan dengan kredensial pengguna saya untuk metode autentikasi, Anda harus mengizinkan Akun Google Anda (Pratinjau).

Memecahkan masalah jadwal berbasis pemicu

Bagian ini menjelaskan masalah umum terkait jadwal berbasis pemicu dan cara mengatasinya.

Masalah: Pemicu tidak aktif

Penyelesaian: Coba salah satu langkah berikut:

• Pastikan kredensial pengguna atau akun layanan memiliki semua izin yang diperlukan.
• Pastikan tabel BigQuery yang ditentukan sedang dimodifikasi.
• Periksa apakah pemicu tidak terpengaruh oleh interval polling.
• Periksa apakah durasi eksekusi minimum, atau nilai Durasi Eksekusi Min, mencegah eksekusi yang lebih sering. Anda dapat mengurangi nilai ini untuk meningkatkan frekuensi aktivasi pemicu.
• Periksa apakah opsi kondisi pemicu (SEMUA atau SALAH SATU) memengaruhi pengaktifan pemicu.
• Periksa log audit untuk memeriksa error saat Dataform mencoba memanggil BigQuery API untuk memeriksa status tabel yang dipantau.

Masalah: Pemicu terlalu sering diaktifkan

Resolusi: Sesuaikan durasi eksekusi minimum, atau nilai Durasi Eksekusi Min. Anda dapat meningkatkan nilai ini untuk mengurangi frekuensi aktivasi pemicu.

Men-deploy pipeline

Men-deploy pipeline akan memperbarui jadwal atau konfigurasi orkestrasinya dengan versi pipeline saat ini. Operasi terjadwal selalu menjalankan versi pipeline yang di-deploy terbaru.

Men-deploy pipeline yang disimpan dalam folder

Untuk men-deploy pipeline mandiri dan pipeline yang disimpan dalam folder, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Buka pipeline Anda di Pipeline Viewer dengan melakukan salah satu hal berikut:

   • Di panel kiri, klik folder File, luaskan folder Pengguna atau Folder tim, lalu pilih pipeline.
   • Di panel kiri, klik explore Explorer, luaskan project Anda, klik Pipelines, lalu pilih pipeline.

3. Di toolbar Pipeline Viewer, klik Deploy.

Jadwal yang sesuai diperbarui dengan versi pipeline saat ini. Versi pipeline yang di-deploy terbaru berjalan pada waktu yang dijadwalkan.

Men-deploy pipeline yang disimpan di repositori Git

Pipeline yang disimpan di Folder Git menggunakan deployment Dataform untuk orkestrasi dan penjadwalan. Deployment memungkinkan Anda mengonfigurasi konfigurasi rilis, konfigurasi alur kerja, penggantian kompilasi, dan orkestrasi multi-lingkungan.

Untuk men-deploy pipeline yang disimpan di repositori Git:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik folder File.

3. Di struktur file, luaskan folder repositori Git yang terhubung, lalu pilih pipeline atau klik folder repositori Git jika merupakan pipeline tingkat root.

4. Di toolbar Pipeline Viewer, klik Deploy.

5. Dalam dialog deployment, konfigurasi konfigurasi rilis, konfigurasi alur kerja, dan setelan eksekusi.

6. Klik Deploy.

Untuk mengetahui informasi selengkapnya tentang cara mengonfigurasi deployment, konfigurasi rilis, dan konfigurasi alur kerja, lihat Deployment Dataform.

Menonaktifkan jadwal

Untuk menjeda proses terjadwal dari pipeline yang dipilih tanpa menghapus jadwal, Anda dapat menonaktifkan jadwal.

Untuk menonaktifkan jadwal pipeline yang dipilih, ikuti langkah-langkah berikut:

Mengaktifkan jadwal

Untuk melanjutkan jadwal pipeline yang dinonaktifkan, ikuti langkah-langkah berikut:

Menjalankan pipeline yang di-deploy secara manual

Saat Anda menjalankan pipeline yang di-deploy dalam jadwal yang dipilih secara manual, BigQuery akan menjalankan pipeline yang di-deploy satu kali, terlepas dari jadwalnya.

Untuk menjalankan pipeline yang di-deploy secara manual, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Scheduling.

   Buka Penjadwalan

2. Klik nama jadwal pipeline yang dipilih.

3. Di halaman Schedule details, klik Run.

Melihat semua jadwal pipeline

Untuk melihat semua jadwal pipeline di project Google Cloud Anda, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Scheduling.

   Buka Penjadwalan

2. Opsional: Untuk menampilkan kolom tambahan dengan detail jadwal pipeline, klik view_column Opsi tampilan kolom, lalu pilih kolom dan klik Oke.

Melihat detail jadwal pipeline

Untuk melihat detail jadwal pipeline yang dipilih, ikuti langkah-langkah berikut:

Melihat operasi terjadwal sebelumnya

Untuk melihat operasi sebelumnya dari jadwal pipeline yang dipilih, ikuti langkah-langkah berikut:

Mengedit jadwal pipeline

Untuk mengedit jadwal pipeline, ikuti langkah-langkah berikut:

Menghapus jadwal pipeline

Untuk menghapus jadwal pipeline secara permanen, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Scheduling.

   Buka Penjadwalan

2. Lakukan salah satu hal berikut:

   • Klik nama jadwal pipeline yang dipilih, lalu di halaman Schedule details, klik Delete.

   • Di baris yang berisi jadwal pipeline yang dipilih, klik more_vert Lihat tindakan di kolom Tindakan, lalu klik Hapus.

3. Pada dialog yang muncul, klik Hapus.

Langkah berikutnya

• Pelajari lebih lanjut pipeline di BigQuery.
• Pelajari cara membuat pipeline.
• Pelajari cara mengelola pipeline.
• Pelajari cara mengelola kode dengan repositori Git BigQuery Studio.
• Pelajari cara mengatur aset kode dengan folder.
• Pelajari lebih lanjut Deployment Dataform.