[パイプラインと接続] ページを使用してデータ統合ワークフローを作成する

BigQuery の [パイプラインと接続] ページを使用すると、Google Cloud コンソール内でデータ統合タスクを直接管理して効率化できます。このページでは、BigQuery Data Transfer Service、Datastream、Pub/Sub などのサービスについて、BigQuery 固有の構成ワークフローをガイド付きで説明します。

[パイプラインと接続] ページでは、次のタスクを実行できます。

• データを読み込む。ガイド付きのエクスペリエンスを使用して、サポートされているデータソースからデータを見つけて読み込みます。
• データタスクのスケジュールを設定する。スケジュール設定されたクエリ、ノートブック、データ準備、パイプラインなど、データプロセスを自動的に実行するようにスケジュール設定します。
• [データを変換する] をクリックします。分析やレポートでデータを利用できるようにするため、パイプラインとデータ準備を作成して、データのクリーニングや構造化などのオペレーションを実行します。
• データソースへの接続を作成する。外部データソース、コンピューティング ランタイム、AI サービスに接続すると、データ アクセスとリモート実行ができるようになります。

[パイプラインと接続] ページを設定すると、データ統合アセットのステータスを表示し、運用指標を提供することで、データ統合アセットを一元的に管理およびモニタリングできます。

オプトインまたはオプトアウトする

プレビュー版では、[パイプラインと接続] ページで、この機能の使用をオプトインまたはオプトアウトできます。

オプトイン

[パイプラインと接続] ページを使用するには、次の手順を行います。

1. Google Cloud コンソールに移動します。

   コンソールに移動

2. Google Cloud コンソールのツールバーで、[menu ナビゲーション メニュー] をクリックします。

3. [ソリューション] > [すべてのプロダクト] をクリックします。

4. [分析] で、[BigQuery] をクリックします。

   BigQuery の [Studio] ページが開きます。

5. BigQuery のナビゲーション メニューを制御するには、次のいずれかを行います。

   • ナビゲーション メニューを開くには、 アイコンにポインタを合わせ、left_panel_open [BigQuery のナビゲーション メニューを切り替える] をクリックします。

   • ナビゲーション メニューを閉じるには、left_panel_close [BigQuery のナビゲーション メニューの切り替え] をクリックします。

6. ナビゲーション メニューで、次のいずれかのオプションをクリックします。

   • データ転送
   • スケジュールされたクエリ
   • スケジュール

7. 統合されたパイプラインと接続のバナーに移動します。

   

8. [オプトイン] をクリックします。

   有効にすると、既存の [データ転送]、[スケジュール設定]、[スケジュール設定されたクエリ] の各ページが [パイプラインと接続] ページに置き換えられます。

オプトアウト

統合された [パイプラインと接続] ページの使用をオプトアウトする手順は次のとおりです。

1. [パイプラインと接続] ページで、統合されたパイプラインと接続のバナーにある [オプトアウト] をクリックします。

2. フィードバック ダイアログが開きます。機能の欠落やバグなど、無効にする理由に関するフィードバックを送信します。

3. [送信]、[閉じる] の順にクリックします。

   フォームを送信すると、ナビゲーション メニューが、[データ転送]、[スケジュール設定]、[スケジュールされたクエリ] の各ページを使用する状態に戻ります。

データ統合アセットを作成する

スケジュールされたクエリ、データ転送、外部接続などのアセットを作成する手順は次のとおりです。

1. [Pipelines & Connections] ページに移動します。

   [Pipelines & Connections] に移動

2. [作成] をクリックします。

3. 作成するアセットのカードで、次のオプションをクリックします。

   1. ガイド付きワークフローを使用して、サポートされているデータソースのいずれかからデータを追加するには、[データを読み込む] カードで [データを追加] をクリックします。

   2. クエリ、ノートブック、データ準備、パイプラインのスケジュールを設定するには、[データタスクのスケジュール設定] カードで [スケジュール] をクリックし、適切なオプションを選択します。

   3. 変換パイプラインまたはデータ準備を作成するには、[データを変換] カードで [作成] をクリックし、適切なオプションを選択します。

   4. 外部データソースへの接続を作成するには、[外部接続] カードで [接続を作成] をクリックします。

アセットをモニタリングする

アセットを作成したら、アセットを表示してモニタリングできます。[パイプラインと接続] ページで使用できる運用指標には、BigQuery Data Transfer Service の実行履歴、Pub/Sub サブスクリプションのスループットとレイテンシ、Datastream パイプラインのデータの更新速度とイベント数などがあります。BigQuery Data Transfer Service の実行ログや Datastream オブジェクトのステータスなどのトラブルシューティング情報も確認できます。

1. [Pipelines & Connections] ページに移動します。

   [Pipelines & Connections] に移動

2. 接続の詳細を表示するには、[接続] タブをクリックします。

3. パイプラインをモニタリングするには、[パイプライン] タブをクリックします。このページでは、パイプラインのステータス、タイプ、実行履歴などの詳細を確認できます。

4. パイプラインの詳細を表示するには、[表示名] 列でリンクをクリックします。

次のステップ

• BigQuery で Dataform パイプラインを作成する方法を学習する。
• パイプラインのスケジュールを設定する方法を確認する。
• クエリをスケジュール設定する方法を確認する。
• BigQuery Data Transfer Service の転送について学習する。