Guia de implantação

Esta página orienta você pelas etapas de implantação do Cortex Framework para implantações de caminho de produção.

Antes de começar

Verifique se você concluiu os pré-requisitos descritos na página Pré-requisitos antes de continuar com a implantação.

Antes de implantar o Cortex Framework, escolha e prepare a integração do sistema de origem.

Configurar papéis do IAM

Configure as permissões necessárias do Identity and Access Management (IAM) para implantar o conteúdo do Cortex Framework nos projetos necessários Google Cloud .

Papéis para o projeto de build

Para receber as permissões necessárias para criar o Cortex Framework, peça ao administrador para conceder a você o papel do IAM de usuário de jobs de dados do BigQuery (roles/bigquery.jobUser) no projeto de build. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias com papéis personalizados ou outros papéis predefinidos.

Para conceder os papéis solicitados a um usuário, use o script:

      gcloud projects add-iam-policy-binding BUILD_PROJECT_ID \
        --member="user:USER_EMAIL" \
        --role="roles/bigquery.jobUser"

Papéis para o projeto de origem

Para receber as permissões necessárias para implantar o Cortex Framework, peça ao administrador para conceder a você o papel do IAM de visualizador de dados do BigQuery (roles/bigquery.dataViewer) no projeto de origem. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias com papéis personalizados ou outros papéis predefinidos. 

      gcloud projects add-iam-policy-binding SOURCE_PROJECT_ID \
        --member="user:USER_EMAIL" \
        --role="roles/bigquery.dataViewer"

Papéis para projetos de destino

Para receber as permissões necessárias para implantar o Cortex Framework, peça ao administrador para conceder a você os seguintes papéis do IAM nos projetos de destino:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias com papéis personalizados ou outros papéis predefinidos.

Para conceder os papéis solicitados a um usuário, use o script:

gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
        --role="roles/bigquery.dataEditor"
gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
        --role="roles/dataform.admin"
gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
        --role="roles/serviceusage.serviceUsageConsumer"

Configuração da implantação

Antes da implantação, as camadas de base de dados e de produtos de dados são configuradas usando uma abordagem centralizada de configuração como código. O Cortex Framework usa um arquivo config/config.yaml para configurar a implantação do Cortex Framework. Recomendamos que você faça uma cópia de config/config.yaml.example como ponto de partida. Esse arquivo contém o mapeamento essencial entre os dados de origem e o ambiente de destino Google Cloud. A configuração adequada garante que o Cortex Framework saiba exatamente onde encontrar os dados brutos e onde materializar as camadas resultantes.

Para uma implantação bem-sucedida do Cortex Framework, esses valores obrigatórios precisam ser adicionados:

  • YOUR_BUILD_PROJECT_ID: o projeto em que a orquestração da implantação e os scripts uv são executados.
  • YOUR_SOURCE_PROJECT_ID: o projeto que contém os dados de origem brutos.
  • YOUR_TARGET_PROJECT_ID: o projeto de destino em que os produtos de dados processados e os conjuntos de dados do BigQuery vão residir.
  • YOUR_REPO_PROJECT_ID: o projeto que hospeda o repositório do Dataform e os artefatos de implantação.

Para informações detalhadas sobre o arquivo de configuração, consulte Configuração da implantação.

Executar implantação

Execute o comando a seguir para acionar a implantação do Cortex Framework. Esse processo vai realizar as seguintes ações:

  • Verificar se todos os pré-requisitos foram atendidos.
  • Conectar-se ao conjunto de dados brutos e, com base nas informações do esquema, criar e compilar os scripts .sqlx.
  • Criar o repositório e o espaço de trabalho do Dataform e, em seguida, sincronizar os artefatos compilados com o repositório.
uv run cortex-build-and-deploy --config config/config.yaml

Parâmetros da CLI `uv run cortex-build-and-deploy`: opcionalmente, é possível mostrar uma lista de parâmetros possíveis com suporte do script cortex-demo executando o uv run cortex-build-and-deploy -h comando. Para mais informações, consulte CLI Cortex Framework uv run cortex-build-and-deploy.

Opções da linha de comando

A interface de linha de comando (CLI) uv run oferece suporte a estas ações:

  • uv run cortex-build: executa a compilação do espaço de trabalho do Dataform, traduzindo as configurações YAML e os modelos SQLX/JS em recursos implantáveis do Dataform. Para mais informações, consulte Build do Cortex da CLI.
  • uv run cortex-deploy: envia os recursos compilados para o espaço de trabalho de destino do Dataform. Para mais informações, consulte Implantação do Cortex da CLI.
  • uv run cortex-build-and-deploy: combina a compilação e o envio dos recursos de build para o espaço de trabalho do Dataform. Para mais informações, consulte Build e implantação do Cortex da CLI.

Próximas etapas