Versioni immagine release 3.0.x

Componente	3.0.2-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/09/04	3.0.1-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/08/19	3.0.0-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/07/15	3.0.0-RC2-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/05/03	3.0.0-RC1-debian12/ -ubuntu24/ -rocky9 2025/09/08
Apache Flink componente facoltativo	2.2.0	2.2.0	2.2.0
Apache Hadoop installato	3.5.0	3.5.0	3.5.0	3.5.0	3.4.1
Apache Hive installato	4.2.0	4.2.0	4.2.0	4.2.0	4.1.0
Apache Hive WebHCat componente facoltativo	4.2.0	4.2.0	4.2.0
Apache Iceberg componente facoltativo	1.11.0	1.11.0	1.11.0
Apache Hudi componente facoltativo	1.2.0
Azione di inizializzazione Apache Kafka	3.9.2	3.9.2	3.9.2
Apache Pig componente facoltativo	0.18.0	0.18.0	0.18.0	0.18.0-SNAPSHOT
Apache Ranger componente facoltativo	2.8.0	2.8.0
Apache Spark installato	4.1.2	4.1.2	4.1.2	4.1.1	4.0.0
Apache Solr componente facoltativo	9.10.1	9.10.1	9.10.1	9.7.0
Apache Tez installato	0.10.5	0.10.5	0.10.5	0.10.5	0.10.5
Blocco note Apache Zeppelin componente facoltativo	0.12.0	0.12.0	0.12.0
Apache Zookeeper componente facoltativo	3.9.5	3.9.5	3.9.5	3.9.3
Connettore BigQuery installato	0.44.1-Preview	0.44.1-Preview	0.44.1-Preview	0.44.1-Preview
connettore Cloud Storage installato	4.0.4	3.1.13	3.1.13	3.1.13	3.1.6
Conscrypt installato	2.6	2.6	2.6	2.6
Delta Lake componente facoltativo	4.2.0	4.2.0
Docker componente facoltativo	28,1	28,1	28,1
Java installato	21	21	21	21	17
Blocco note JupyterLab componente facoltativo	4.5.7	4.5.7	4.5.7
Python installato	Pixi 0.76.0 con Python 3.12	Pixi 0.67.1 con Python 3.12	Pixi 0.67.1 con Python 3.12	Pixi 0.67.1 con Python 3.11	micromamba 2.0.5 con Python 3.11
R installato	R 4.5	R 4.5	R 4.5	R 4.5	R 4.3
Scala installata	2.13.17	2.13.17	2.13.17	2.13.17	2.13.14
Trino componente facoltativo	480	480	480

Limitazioni

• Metastore con Hive 4.2: la versione dell'immagine 3.0 non supporta BigQuery Metastore, BigLake Metastore o Dataproc Metastore con Hive 4.2 (le query Hive dirette che utilizzano questi metastore non sono supportate).

• Delta Lake con Hive:Delta Lake 4.x, incluso nella versione dell'immagine di Managed Service for Apache Spark 3.0, non supporta Hive (le query sulle tabelle Delta Lake 4.2 non possono essere eseguite su Hive).

• Iceberg con Hive:la versione dell'immagine Managed Service for Apache Spark 3.0 include Hive 4.2, che supporta Iceberg tramite il catalogo Iceberg REST.

• Cluster GPU:tutte le versioni dell'immagine 3.0, ad eccezione di 3.0-ml-ubuntu, abilitano cgroups V2. Poiché YARN non supporta il rilevamento delle GPU quando è abilitato cgroups V2, devi utilizzare l'immagine 3.0-ml-ubuntu quando crei cluster con GPU.

Note:

• La versione 3.0 è un'immagine leggera che contiene solo i componenti principali, riducendo l'esposizione a vulnerabilità ed esposizioni comuni (CVE). Per requisiti di conformità alla sicurezza più elevati, utilizza la versione dell'immagine 2.3 o successive quando crei un cluster Managed Service for Apache Spark.

• Se scegli di installare componenti facoltativi durante la creazione di un cluster Managed Service for Apache Spark con l'immagine 3.0, questi verranno scaricati e installati durante la creazione del cluster. Questa operazione potrebbe aumentare il tempo di avvio del cluster. Per evitare questo ritardo, puoi creare un'immagine personalizzata con i componenti facoltativi preinstallati. Ciò si ottiene eseguendo generate_custom_image.py con il flag --optional-components.

• I seguenti componenti facoltativi sono supportati nelle immagini 3.0:

  • Apache Flink
  • Apache Hive WebHCat
  • Apache Iceberg
  • Apache Pig
  • Apache Ranger
  • Apache Solr
  • Notebook Apache Zeppelin
  • Apache Zookeeper
  • Delta Lake
  • Docker
  • Blocco note JupyterLab
  • Trino

• yarn.nodemanager.recovery.enabled e l'audit logging di HDFS sono abilitati per impostazione predefinita nelle immagini 3.0.

• Pixi viene installato nell'ambito dell'installazione di Python e viene utilizzato per installare i pacchetti Python anziché Conda.

• Il calcolatore delle risorse predefinito per YARN è stato modificato da DefaultResourceCalculator a DominantResourceCalculator, che utilizza il concetto di risorsa dominante per determinare l'allocazione delle risorse, come l'allocazione di memoria e CPU. Questa modifica influisce su Autoscaler, che esegue lo scale in base all'utilizzo delle risorse dominante del cluster.

• A partire dalla versione immagine 3.0, quando crei un cluster senza specificare un tipo di macchina per un nodo del cluster, Managed Service for Apache Spark specifica il nodo con un elenco classificato di tipi di macchine VM flessibili, ad esempio un elenco classificato di tipi di macchine delle serie N4, N2 ed E2, con l'elenco ottimizzato per la disponibilità delle risorse.