Problemas e limitações conhecidos da versão de imagem 2.2:
Os agentes legados não são instalados em clusters da versão de imagem 2.2. Os monitoring-agent-defaults não estão disponíveis, a menos que o Agente de operações esteja instalado. Observação: as métricas e o registro em log do OSS estão disponíveis para componentes do Serviço Gerenciado para Apache Spark.
A criação de registros ou o monitoramento de aplicativos de terceiros não estão disponíveis, a menos que o Agente de operações esteja instalado.
Observações:
As imagens
2.2.x-*-armsão compatíveis apenas com os componentes pré-instalados e os seguintes componentes opcionais. Os outros componentes opcionais do 2.2 e todas as ações de inicialização não são compatíveis:- Apache Hive WebHCat
- Apache Pig (a partir de
2.2.75-ubuntu22-arm) - Docker
- Zeppelin
- Zookeeper (instalado em clusters de alta disponibilidade; componente opcional em outros clusters)
O código-fonte das bibliotecas da imagem 2.2 licenciadas sob licenças recíprocas e restritas está disponível no caminho
/usr/local/share/google/managed-spark/third-party-sourcesnas VMs de cluster do Serviço Gerenciado para Apache Spark.Os procedimentos do Hudi a seguir não funcionam em uma tabela do Hudi com suporte do sistema de arquivos do Cloud Storage:
run_clusteringrun_compaction
A calculadora de recursos padrão do YARN foi alterada de DefaultResourceCalculator para DominantResourceCalculator, que usa o conceito de recurso dominante para determinar a alocação de recursos, como memória e CPU. Essa mudança afeta o escalonador automático, que faz o escalonamento com base no uso de recursos dominante do cluster.
Versão do Apache Iceberg: nas imagens 2.2, o Apache Iceberg está disponível nas versões
1.6.1e1.10. A versão padrão é1.6.1. Para especificar a versão do Iceberg em qualquer cluster 2.2, defina a propriedade do clusterdataproc:dataproc.iceberg.versioncomo1.10(ou1.6) durante a criação do cluster.As versões de imagem
2.2.85e mais recentes não têm canais Conda pré-configurados. Não é possível instalar pacotes usando o Conda, a menos que os canais sejam configurados manualmente durante a inicialização do cluster. Além disso, os clusters da versão da imagem2.2que têm canais Conda pré-configurados, incluindo2.2.84e versões de imagem anteriores, não poderão ser usados após 25 de agosto de 2026.- Talvez seja necessário excluir e substituir os clusters atuais. Após 25 de agosto de 2026, os clusters criados com imagens que têm canais do Conda pré-configurados, mesmo que os jobs do cluster não usem o Conda para instalar pacotes, precisarão ser excluídos e substituídos por novos clusters criados ou recriados com imagens que não têm canais do Conda pré-configurados.