クラスタ キャッシュ

Managed Service for Apache Spark クラスタ キャッシュを有効にすると、クラスタは Spark ジョブによって頻繁にアクセスされる Cloud Storage データをキャッシュに保存します。

利点

  • パフォーマンスの向上: キャッシュを使用すると、ストレージからデータを取得する時間を短縮して、ジョブのパフォーマンスを改善できます。
  • ストレージ コストの削減: ホットデータがローカル ディスクにキャッシュされるため、データを取得するためにストレージに対して行われる API 呼び出しが少なくなります。
  • Spark ジョブの適用性: クラスタでクラスタ キャッシュが有効になっている場合、 Managed Service for Apache Spark に送信されたか、クラスタで個別に実行されたかに関係なく、クラスタで実行されるすべての Spark ジョブに適用されます。

制限事項と要件

  • キャッシュは Managed Service for Apache Spark ジョブにのみ適用されます。
  • Cloud Storage のデータのみがキャッシュされます。
  • キャッシュは、次の要件を満たすクラスタに適用されます。

クラスタ キャッシュを有効にする

コンソール、Google Cloud CLI または Dataproc API を使用して Managed Service for Apache Spark クラスタを作成する場合は、クラスタ キャッシュを有効にできます。 Google Cloud

Google Cloud コンソール

  1. コンソールで [**クラスタを作成**] ページを開きます。 Google Cloud
  2. [追加構成] をクリックしてセクションを開きます。
  3. [カスタマイズとその他] を編集します。
  4. 表示されたパネルの [クラスタのプロパティ] セクションで、[+ プロパティを追加] をクリックします。
  5. [プレフィックス] リストで [dataproc] を選択し、キー dataproc.cluster.caching.enabled と値 true を追加します。

gcloud CLI

gcloud dataproc clusters create コマンドは、ターミナル ウィンドウでローカルに実行するか、dataproc:dataproc.cluster.caching.enabled=true クラスタ プロパティを使用して Cloud Shell で実行します。

例:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --properties dataproc:dataproc.cluster.caching.enabled=true \
    --num-master-local-ssds=2 \
    --master-local-ssd-interface=NVME \
    --num-worker-local-ssds=2 \
    --worker-local-ssd-interface=NVME \
    other args ...

REST API

clusters.create リクエストの一部として "dataproc:dataproc.cluster.caching.enabled": "true" クラスタ プロパティを含めるため、SoftwareConfig.properties を設定します。