Cette page liste les limites de quota de l'API Managed Service pour Apache Spark, qui sont appliquées au niveau de chaque projet et de chaque région. Les quotas sont réinitialisés toutes les soixante secondes (chaque minute).
Pour découvrir des stratégies d'optimisation des clusters qui vous aideront à éviter les problèmes de quota et de disponibilité des ressources, consultez Disponibilité des ressources et stratégies de zone.
Le tableau suivant présente les types de quotas d'API Managed Service pour Apache Spark par défaut ou spécifiques appliqués à chaque projet, ainsi que les limites de ces quotas et les méthodes auxquelles ils s'appliquent.
| Type de quota | Limite | Méthodes API applicables |
|---|---|---|
| AutoscalingOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy, DeleteAutoscalingPolicy |
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster, RepairCluster |
| NodeGroupOperationRequestsPerMinutePerProjectPerRegion | 600 | CreateNodeGroup, DeleteNodeGroup, ResizeNodeGroup, RepairNodeGroup, UpdateLabelsNodeGroup, StartNodeGroup, StopNodeGroup |
| GetJobRequestsPerMinutePerProjectPerRegion | 7 500 | GetJob |
| JobOperationRequestsPerMinutePerProjectPerRegion | 400 | SubmitJob, UpdateJob, CancelJob, DeleteJob |
| WorkflowOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate, DeleteWorkflowTemplate |
| DefaultRequestsPerMinutePerProjectPerRegion | 7 500 | Toutes les autres opérations (principalement des opérations Get) |
Le tableau suivant liste les limites supplémentaires concernant le nombre total d'opérations et de jobs actifs au niveau du projet et de la région.
| Type de quota | Limite | Description |
|---|---|---|
| ActiveOperationsPerProjectPerRegion | 5000 | Limite du nombre total d'opérations actives simultanées de tous types dans un même projet et une même base de données régionale |
| ActiveJobsPerProjectPerRegion | 5000 | Limite du nombre total de jobs actifs à l'état NON_TERMINAL dans un même projet et une même base de données régionale |
Autres quotas Google Cloud
Les clusters Managed Service pour Apache Spark utilisent d'autres produits Google Cloud . Ces produits ont des quotas au niveau du projet, y compris des quotas associés à l'utilisation de Managed Service pour Apache Spark. Certains services, tels que Compute Engine et Cloud Storage, sont requis pour l'utilisation de Managed Service pour Apache Spark. Pour d'autres, comme BigQuery et Bigtable, l'utilisation de Managed Service pour Apache Spark est optionnelle.
Services de cluster requis
Les services suivants, qui font appliquer des limites de quota, sont requis pour créer des clusters Managed Service pour Apache Spark.
Compute Engine
Les clusters Managed Service pour Apache Spark utilisent des machines virtuelles Compute Engine. Les quotas Compute Engine sont divisés en quotas régionaux ou mondiaux. et les limites de ces quotas s'appliquent aux clusters que vous créez. Par exemple, la création d'un cluster avec un nœud n1-standard-4 -m et deux nœuds n1-standard-4 -w utilise 12 processeurs virtuels (4 * 3). Cette utilisation du cluster est déduite de la limite de quota régionale de 24 processeurs virtuels.
Ressources des clusters par défaut
Lorsque vous créez un cluster Managed Service pour Apache Spark en utilisant les paramètres par défaut, les ressources Compute Engine suivantes sont utilisées.
| Ressource | Utilisation |
|---|---|
| Processeurs virtuels | 12 |
| Instances de machines virtuelles (VM) | 3 |
| Disque persistant | 1 500 Go |
Cloud Logging
Managed Service pour Apache Spark enregistre les résultats fournis par les pilotes et les journaux de clusters dans Cloud Logging. Le quota de journalisation s'applique aux clusters Managed Service pour Apache Spark.
Services de cluster facultatifs
Vous pouvez éventuellement utiliser les services suivants, qui sont soumis à des limites de quota, avec les clusters Managed Service pour Apache Spark.
BigQuery
Lorsque vous lisez ou écrivez des données dans BigQuery, le quota BigQuery s'applique.
Bigtable
Lorsque vous lisez ou écrivez des données dans Bigtable, le quota Bigtable s'applique.
Disponibilité des ressources et stratégies de zone
Pour optimiser les clusters en fonction de la disponibilité des ressources et limiter les erreurs de rupture de stock potentielles, envisagez les stratégies suivantes :
Sélection de zone automatique : lorsque vous créez des clusters, utilisez la sélection de zone automatique. Cela permet à Managed Service pour Apache Spark de sélectionner une zone optimale dans la région que vous avez spécifiée, ce qui augmente les chances de créer un cluster.
Quotas régionaux : vérifiez que vos quotas Compute Engine régionaux sont suffisants, car ils peuvent être épuisés même avec le placement automatique dans une zone si la capacité régionale totale est insuffisante pour vos demandes.
Flexibilité du type de machine : si vous rencontrez des ruptures de stock persistantes avec un type de machine spécifique, utilisez un autre type de machine plus facilement disponible pour votre cluster.