Cuotas sin servidores de Managed Service para Apache Spark

Managed Service para Apache Spark tiene límites de cuota de las API que se aplican a nivel de proyecto y región. Esas cuotas se restablecen cada 60 segundos (1 minuto).

En la siguiente tabla, se muestran los tipos de cuotas específicos y predeterminados por proyecto para las API de Managed Service para Apache Spark, los límites de cuotas y los métodos a los que se aplican.

Otras Google Cloud cuotas

Los lotes de Managed Service para Apache Spark usan otros Google Cloud productos. Estos productos tienen cuotas en el nivel de proyecto, que incluyen las que se aplican al uso de Managed Service para Apache Spark. Algunos servicios son obligatorios para usar Managed Service para Apache Spark, como Compute Engine y Cloud Storage. Otros servicios, como BigQuery y Bigtable, se pueden usar de forma opcional con Managed Service para Apache Spark.

Servicios obligatorios

Los siguientes servicios, que tienen límites de cuota, son obligatorios para crear lotes de Managed Service para Apache Spark.

Compute Engine

Las cargas de trabajo por lotes de Managed Service para Apache Spark pueden seleccionar una variedad de recursos de Compute Engine:

• Para mitigar los problemas de obtenibilidad con las CPU y los discos, Managed Service para Apache Spark admite el resguardo en varias familias de máquinas y tipos de discos. Por ejemplo, en el nivel Premium, una carga de trabajo por lotes puede recurrir a N2 con SSD persistente, N2D con SSD local, N2D con disco persistente, N4 con hyperdisk balanceado, o N4D con hyperdisk balanceado.

• Una carga de trabajo por lotes falla si no tiene suficiente cuota para consumir los recursos de selección de conmutación por error.

En la siguiente tabla, se enumeran las cuotas de recursos de Compute Engine que se aplican a las cargas de trabajo por lotes de Managed Service para Apache Spark.

Las cuotas de Compute Engine están divididas en límites regionales y globales. Estos límites se aplican a los lotes que creas. Por ejemplo, para ejecutar un lote de Spark con 4 núcleos de controlador (spark.driver.cores=4) y dos ejecutores con 4 núcleos cada uno (spark.executor.cores=4), usas 12 CPU virtuales (4 * 3). El uso de este lote se descuenta del límite de cuota regional de 24 CPU virtuales.

Recursos por lotes predeterminados

Cuando creas un lote con la configuración predeterminada, se usan los siguientes recursos de Compute Engine:

Cloud Logging

Managed Service para Apache Spark guarda el resultado y los registros por lotes en Cloud Logging. La cuota de Cloud Logging se aplica a tus lotes de Managed Service para Apache Spark.

Servicios opcionales

Los siguientes servicios, que tienen límites de cuota, se pueden usar de forma opcional con los lotes de Managed Service para Apache Spark.

BigQuery

Cuando se realizan operaciones de lectura o escritura de datos en BigQuery, se aplica la cuota de BigQuery.

Bigtable

Cuando se realizan operaciones de lectura o escritura de datos en Bigtable, se aplica la cuota de Bigtable.

Identifica las cargas de trabajo con limitaciones de cuota o de dirección IP

Puedes usar las siguientes consultas de Cloud Logging para identificar las cargas de trabajo de Managed Service para Apache Spark que alcanzaron tu cuota o no pudieron escalarse debido al agotamiento de la dirección IP.

Consulta de cuota:

jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.recommendation.outputs.constraintsReached="SCALING_CAPPED_DUE_TO_LACK_OF_QUOTA"

Consulta de agotamiento de la dirección IP:

jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.status.details =~".*Insufficient free IP addresses.*"