Problemi noti e limitazioni della versione immagine 2.2:
Gli agenti legacy non sono installati nei cluster con versione immagine 2.2. monitoring-agent-defaults non sono disponibili a meno che non sia installato Ops Agent. Nota: le metriche e la registrazione OSS sono disponibili per i componenti di Managed Service for Apache Spark.
Il logging o il monitoraggio per applicazioni di terze parti non sono disponibili a meno che non sia installato Ops Agent.
Note:
Le immagini
2.2.x-*-armsupportano solo i componenti preinstallati e i seguenti componenti opzionali. Gli altri componenti facoltativi della versione 2.2 e tutte le azioni di inizializzazione non sono supportati:- Apache Hive WebHCat
- Apache Pig (a partire da
2.2.75-ubuntu22-arm) - Docker
- Zeppelin
- Zookeeper (installato in cluster ad alta disponibilità; componente facoltativo in altri cluster)
Il codice sorgente delle librerie dell'immagine 2.2 con licenza reciproca e con licenze con limitazioni è disponibile nel percorso
/usr/local/share/google/managed-spark/third-party-sourcessulle VM del cluster Managed Service for Apache Spark.È noto che le seguenti procedure Hudi non funzionano su una tabella Hudi supportata dal file system Cloud Storage:
run_clusteringrun_compaction
Il calcolatore delle risorse predefinito per YARN è stato modificato da DefaultResourceCalculator a DominantResourceCalculator, che utilizza il concetto di risorsa dominante per determinare l'allocazione delle risorse, come l'allocazione di memoria e CPU. Questa modifica influisce su Autoscaler, che esegue lo scale in base all'utilizzo dominante delle risorse del cluster.
Versione di Apache Iceberg: nelle immagini 2.2, Apache Iceberg è disponibile nelle versioni
1.6.1e1.10. La versione predefinita è1.6.1. Per specificare la versione di Iceberg su qualsiasi cluster 2.2, imposta la proprietà del clusterdataproc:dataproc.iceberg.versionsu1.10(o1.6) durante la creazione del cluster.Le versioni delle immagini
2.2.85e successive non hanno canali Conda preconfigurati. I pacchetti non possono essere installati utilizzando Conda, a meno che i canali non vengano configurati manualmente durante l'inizializzazione del cluster. Inoltre, i cluster di versioni dell'immagine2.2con canali Conda preconfigurati, incluse le versioni dell'immagine2.2.84e precedenti, non potranno essere utilizzati dopo il 25 agosto 2026.- Potresti dover eliminare e sostituire i cluster esistenti. Dopo il 25 agosto 2026, i cluster esistenti creati con immagini con canali Conda preconfigurati, anche se i job del cluster non utilizzano Conda per installare i pacchetti, devono essere eliminati e sostituiti con nuovi cluster creati o ricreati con immagini che non hanno canali Conda preconfigurati.