Collega le GPU ai cluster

Managed Service for Apache Spark consente di collegare le unità di elaborazione grafica (GPU) ai nodi master e worker di Compute Engine in un cluster Managed Service for Apache Spark. Puoi utilizzare queste GPU per accelerare carichi di lavoro specifici sulle tue istanze, come machine learning ed elaborazione di dati.

Per saperne di più su cosa puoi fare con le GPU e quali tipi di hardware GPU sono disponibili, leggi GPU su Compute Engine.

Prima di iniziare

• Le GPU richiedono driver e software speciali. Questi elementi sono preinstallati nelle immagini di Managed Service for Apache Spark -ml (l'utilizzo delle immagini -ml è consigliato) e possono essere installati manualmente quando e se necessario.
• Leggi informazioni sui prezzi delle GPU su Compute Engine per comprendere il costo dell'utilizzo delle GPU nelle tue istanze.
• Leggi le limitazioni per le istanze con GPU per scoprire in che modo queste istanze funzionano in modo diverso rispetto alle istanze non GPU.
• Controlla la pagina Quote del tuo progetto per assicurarti di disporre di una quota GPU sufficiente (NVIDIA_T4_GPUS, NVIDIA_P100_GPUS o NVIDIA_V100_GPUS) disponibile nel progetto. Se le GPU non sono elencate nella pagina delle quote o se hai bisogno di una quota di GPU aggiuntiva, richiedi un aumento della quota.

Tipi di GPU

I nodi Managed Service for Apache Spark supportano i seguenti tipi di GPU. Devi specificare il tipo di GPU quando le colleghi al cluster Managed Service for Apache Spark.

• nvidia-tesla-l4 - NVIDIA® Tesla® L4
• nvidia-tesla-a100 - NVIDIA® Tesla® A100
• nvidia-tesla-p100 - NVIDIA® Tesla® P100
• nvidia-tesla-v100 - NVIDIA® Tesla® V100
• nvidia-tesla-p4 - NVIDIA® Tesla® P4
• nvidia-tesla-t4 - NVIDIA® Tesla® T4
• nvidia-rtx-pro-6000 - NVIDIA® RTX® PRO 6000
• nvidia-tesla-p100-vws - Workstation virtuali NVIDIA® Tesla® P100
• nvidia-tesla-p4-vws - Workstation virtuali NVIDIA® Tesla® P4
• nvidia-tesla-t4-vws - Workstation virtuali NVIDIA® Tesla® T4

Collegare GPU a un cluster

Per collegare le GPU a un cluster Managed Service for Apache Spark, quando crei il cluster devi specificare un'immagine -ml (consigliata) o utilizzare un'azione di inizializzazione per installare i driver GPU.

Gli esempi riportati di seguito specificano o presuppongono l'utilizzo dell'immagine 2.3-ml-ubuntu durante la creazione di un cluster.

gcloud dataproc clusters create cluster-name \
    --image-version=2.3-ml-ubuntu \
    --region=region \
    --master-accelerator type=nvidia-tesla-t4 \
    --worker-accelerator type=nvidia-tesla-t4,count=4 \
    --secondary-worker-accelerator type=nvidia-tesla-t4,count=4 \
    ... other flags

Installa i driver della GPU

Per utilizzare le GPU collegate ai nodi Managed Service for Apache Spark, sono necessari i driver GPU. In alternativa all'utilizzo dei driver GPU installati nelle immagini Managed Service for Apache Spark -ml, puoi utilizzare le seguenti azioni di inizializzazione per installare i driver GPU quando crei un cluster:

• Spark Rapids
• Librerie ML per GPU

Verifica l'installazione del driver della GPU

Puoi verificare l'installazione del driver GPU su un cluster connettendoti tramite SSH al nodo master del cluster ed eseguendo questo comando:

nvidia-smi

Se il driver funziona correttamente, l'output mostrerà la versione del driver e le statistiche della GPU (vedi Verifica dell'installazione del driver della GPU).

Configurazione Spark

Quando invii un job a Spark, puoi utilizzare la proprietà dell'ambiente di runtime della configurazione Spark spark.executorEnv con la variabile di ambiente LD_PRELOAD per precaricare le librerie necessarie.

Esempio:

gcloud dataproc jobs submit spark --cluster=CLUSTER_NAME \
  --region=REGION \
  --class=org.apache.spark.examples.SparkPi \
  --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
  --properties=spark.executorEnv.LD_PRELOAD=libnvblas.so,spark.task.resource.gpu.amount=1,spark.executor.resource.gpu.amount=1,spark.executor.resource.gpu.discoveryScript=/usr/lib/spark/scripts/gpu/getGpusResources.sh

Esempio di job GPU

Puoi testare le GPU su Managed Service for Apache Spark eseguendo uno dei seguenti job, che traggono vantaggio dall'esecuzione con le GPU:

1. Esegui uno degli esempi di Spark ML.
2. Esegui questo esempio con spark-shell per eseguire un calcolo matriciale:

import org.apache.spark.mllib.linalg._
import org.apache.spark.mllib.linalg.distributed._
import java.util.Random

def makeRandomSquareBlockMatrix(rowsPerBlock: Int, nBlocks: Int): BlockMatrix = {
  val range = sc.parallelize(1 to nBlocks)
  val indices = range.cartesian(range)
  return new BlockMatrix(
      indices.map(
          ij => (ij, Matrices.rand(rowsPerBlock, rowsPerBlock, new Random()))),
      rowsPerBlock, rowsPerBlock, 0, 0)
}

val N = 1024 * 4
val n = 2
val mat1 = makeRandomSquareBlockMatrix(N, n)
val mat2 = makeRandomSquareBlockMatrix(N, n)
val mat3 = mat1.multiply(mat2)
mat3.blocks.persist.count
println("Processing complete!")

Passaggi successivi

• Scopri come creare un'istanza Compute Engine con GPU collegate.
• Scopri di più sui tipi di macchina GPU.