Configurar um disco temporário para pools de workers do Cloud Run

O Cloud Run fornece um volume de disco temporário que persiste apenas durante a instância. Com esse recurso, é possível especificar a quantidade de disco necessária e o local para montá-lo. O Cloud Run vai alocar essa quantidade de disco ao seu recurso.

Os discos são provisionados automaticamente, pré-formatados para ext4 e criptografados com chaves específicas da instância na inicialização. O disco temporário cria seu volume para que qualquer usuário possa ler ou gravar nele. Como o armazenamento é efêmero, todos os dados são excluídos permanentemente quando a instância é desligada. Isso inclui desligamentos causados por:

  • Falhas de instâncias
  • Migração de tráfego para uma nova revisão

Os discos são dedicados a uma instância específica e não são compartilhados entre outras instâncias ou revisões. Você tem controle sobre a estrutura do sistema de arquivos com um ponto de montagem configurável para cada volume.

Antes de encerrar uma instância, o Cloud Run envia um sinal SIGTERM para todos os contêineres em uma instância, indicando o início de um período de 10 segundos antes do encerramento real. Nesse ponto, o Cloud Run envia um sinal SIGKILL. Use essa janela de 10 segundos para realizar operações de limpeza, como uma rodada final de cópia do conteúdo do disco para o armazenamento persistente.

Casos de uso

É possível usar o disco temporário para o seguinte:

  • Cargas de trabalho de processamento de dados: ao processar arquivos de dados grandes no Cloud Run, normalmente você armazena o arquivo inteiro na memória ou orquestra a divisão dele em partes menores. Com o armazenamento efêmero, você não precisa pagar por grandes quantidades de memória para fazer uma cópia local temporária dos seus dados. Você também poderá processar conjuntos de dados maiores.
  • Armazenamento em cache: em casos de uso de serviço da Web, o armazenamento em cache de dados no disco em vez da busca no armazenamento remoto pode otimizar a latência do aplicativo.

Limites de armazenamento e de instâncias

Os seguintes limites são aplicáveis:

  • Limite de tamanho do volume: cada volume precisa ter entre 1Gi e 100Gi.
  • Limite de armazenamento da instância: por padrão, cada instância é limitada a 10 GiB de espaço total. Para configurar mais de 10 GiB por instância, é necessário solicitar um aumento de cota.
  • Limite de volume da instância: cada instância é limitada a um máximo de 10 volumes de disco temporário.
  • Limite de projeto: por padrão, cada projeto começa com um limite total de alocação regional de 0 GiB. Os projetos recebem automaticamente 100 GiB por região na primeira vez que um recurso com um disco temporário é implantado nessa região. Em tempo de execução, essa cota regional é compartilhada entre todas as instâncias ativas na região. Ao implantar um recurso, o tamanho combinado do disco temporário por instância multiplicado pelo número máximo de instâncias não pode exceder o limite de alocação regional. Por exemplo, com um limite regional de 100 GiB, um recurso com um disco de 10 GiB pode ser configurado com até 10 instâncias. Se necessário, solicite um aumento de cota.

Solicitar aumento de cota

Se você precisar de mais capacidade, solicite um aumento de cota para seu pool de workers do Cloud Run. Use os links fornecidos nos botões a seguir para solicitar a cota necessária.

Cota atual Link de cota
10 GiB por instância Solicitar uma cota maior por instância
100 GiB por projeto Solicitar uma cota maior por projeto

Para mais informações sobre como solicitar aumentos de cota, consulte Como aumentar a cota.

Limitações

O disco temporário só está disponível no ambiente de execução de segunda geração. Por padrão, os pools de workers do Cloud Run usam o ambiente de execução de segunda geração.

Caminhos não permitidos

O Cloud Run não permite montar um volume em /dev, /proc ou /sys, ou nos subdiretórios deles.

Regiões compatíveis

O disco temporário está disponível em todos os locais do Cloud Run.

Antes de começar

  1. Faça login na sua conta do Google Cloud . Se você começou a usar o Google Cloud, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  5. Verify that billing is enabled for your Google Cloud project.

  6. Instale e inicialize a CLI gcloud.
  7. Atualize os componentes: 
    gcloud components update
  8. Consulte a página de preços do Cloud Run para CPU, memória e saída de rede. O tamanho total do disco provisionado e o ciclo de vida da instância que o usa contribuem para o custo.

Funções exigidas

Para receber as permissões necessárias para configurar um disco efêmero, peça ao administrador que conceda a você os seguintes papéis do IAM:

Para uma lista de papéis e permissões do IAM associados ao Cloud Run, consulte Papéis do IAM do Cloud Run e Permissões do IAM do Cloud Run. Se o pool de trabalhadores do Cloud Run interagir com APIsGoogle Cloud , como as bibliotecas de cliente do Cloud, consulte o guia de configuração de identidade de serviço. Para mais informações sobre como conceder papéis, consulte permissões de implantação e gerenciar acesso.

Criar e montar um disco temporário

É possível criar e montar um disco temporário usando o console Google Cloud , a Google Cloud CLI, o YAML ou o Terraform:

Console

  1. No console Google Cloud , acesse a página do Cloud Run:

    Acessar o Cloud Run

  2. Selecione Pools de trabalhadores no menu de navegação do Cloud Run:

    1. Se você estiver configurando um pool de workers, clique nele e em Editar e implantar nova revisão.

    2. Se você estiver configurando um novo pool de workers, clique em Implantar contêiner e preencha a página inicial do pool de workers. Em seguida, clique em Contêineres, Rede, segurança para expandir a página de configuração dos pools de workers.

  3. Clique na guia Contêineres.

  4. Marque a caixa de seleção disco temporário.

  5. Especifique o tamanho do disco temporário no menu.

  6. Insira o caminho de ativação.

  7. Clique em Criar ou Atualizar.

gcloud

Para adicionar um volume e montá-lo:

gcloud beta run worker-pools update WORKERPOOL \
    --add-volume=name=VOLUME_NAME,type=ephemeral-disk,size=SIZE \
    --add-volume-mount=volume=VOLUME_NAME,mount-path=MOUNT_PATH

Substitua:

  • WORKERPOOL: o nome do pool de workers.
  • VOLUME_NAME: o nome que você quer dar ao volume.
  • SIZE: o tamanho do disco, por exemplo, 10Gi. O tamanho precisa estar entre 1Gi e 100Gi para volumes de ephemeral-disk.
  • MOUNT_PATH: o caminho relativo em que você está montando o volume, por exemplo, /mnt/my-volume.

YAML

  1. Se você estiver criando um novo pool de workers, pule esta etapa. Se você estiver atualizando um pool de trabalhadores, faça o download da configuração YAML correspondente:

    gcloud run worker-pools describe WORKER_POOL --format export > worker-pool.yaml

  2. Configure o arquivo YAML:

    apiVersion: run.googleapis.com/v1
kind: WorkerPool
metadata:
  name: WORKER_POOL
  labels:
    cloud.googleapis.com/location: REGION
  annotations:
    run.googleapis.com/launch-stage: BETA
spec:
  template:
    spec:
      containers:
      - name: CONTAINER_NAME
        image: IMAGE_URL
        volumeMounts:
        - name: VOLUME_NAME
          mountPath: MOUNT_PATH
      volumes:
      - name: VOLUME_NAME
        emptyDir:
          medium: Disk
          sizeLimit: SIZE

    Substitua:

    • WORKER_POOL: o nome do pool de workers.
    • REGION: a Google Cloud região.
    • CONTAINER_NAME: o nome que você quer dar ao contêiner.
    • IMAGE_URL: uma referência à imagem de contêiner que contém o pool de workers, como us-docker.pkg.dev/cloudrun/container/worker-pool:latest.
    • VOLUME_NAME: o nome que você quer dar ao volume.
    • MOUNT_PATH: o caminho relativo em que você está montando o volume, por exemplo, /mnt/my-volume.
    • SIZE: o tamanho do disco, por exemplo, 10Gi. O tamanho precisa estar entre 1Gi e 100Gi para volumes de ephemeral-disk.

  3. Crie ou atualize o pool de workers usando o seguinte comando:

    gcloud run worker-pools replace worker-pool.yaml

    Por padrão, o comando gcloud run worker-pools replace usa o arquivo worker-pool.yaml, se ele estiver presente.

Terraform

Para saber como aplicar ou remover uma configuração do Terraform, consulte Comandos básicos do Terraform.

  resource "google_cloud_run_v2_worker_pool" "default" {
    name     = "WORKER_POOL"
    location = "REGION"
    deletion_protection = "true"
    launch_stage = "BETA"
    template {
      containers {
        image = "IMAGE_URL"
        volume_mounts {
          name = "VOLUME_NAME"
          mount_path = "MOUNT_PATH"
        }
      }
      volumes {
        name = "VOLUME_NAME"
        empty_dir {
          medium = "DISK"
          size_limit = "SIZE"
        }
      }
    }
    lifecycle {
      ignore_changes = [
        launch_stage,
      ]
    }
  }

Substitua:

  • WORKER_POOL: o nome do pool de workers.
  • REGION: a Google Cloud região.
  • IMAGE_URL: uma referência à imagem de contêiner que contém o pool de workers, como us-docker.pkg.dev/cloudrun/container/worker-pool:latest.
  • VOLUME_NAME: o nome que você quer dar ao volume.
  • MOUNT_PATH: o caminho relativo em que você está montando o volume, por exemplo, /mnt/my-volume.
  • SIZE: o tamanho do disco, por exemplo, 10Gi. O tamanho precisa estar entre 1Gi e 100Gi para volumes de ephemeral-disk.

Como ler e gravar em um volume

Se você usar o recurso de montagem de volume do Cloud Run, poderá acessar um volume usando as mesmas bibliotecas na linguagem de programação que você usa para ler e gravar arquivos no sistema de arquivos local.

Isso é especialmente útil se você estiver usando um contêiner existente em que espera os dados sejam armazenados no sistema de arquivos local e usa o sistema de arquivos para acessá-lo.

Os snippets a seguir pressupõem uma montagem de volume com mountPath definido como /mnt/my-volume.

Nodejs

Use o módulo "Sistema de arquivos" para criar um novo arquivo ou adicionar ao final de um arquivo no volume, /mnt/my-volume: 

var fs = require('fs');
fs.appendFileSync('/mnt/my-volume/sample-logfile.txt', 'Hello logs!', { flag: 'a+' });

Python

Grave em um arquivo no volume, /mnt/my-volume: 

f = open("/mnt/my-volume/sample-logfile.txt", "a")

Go

Use o pacote os para criar um novo arquivo mantido no volume, /mnt/my-volume: 

f, err := os.Create("/mnt/my-volume/sample-logfile.txt")

Java

Use a classe Java.io.File para criar um arquivo de registro no volume, /mnt/my-volume: 

import java.io.File;
File f = new File("/mnt/my-volume/sample-logfile.txt");

Limpar e remover volumes e montagens de volume

É possível limpar todos os volumes e as ativações ou remover volumes e ativações individuais.

Limpar todos os volumes e as ativações de volumes

Para limpar todos os volumes e montagens de volume do seu pool de workers de contêiner único, execute o seguinte comando:

gcloud run worker-pools update WORKER_POOL \
    --clear-volumes \
    --clear-volume-mounts
 Se você tiver vários contêineres, siga as convenções da CLI sidecars para limpar volumes e montagens de volume:

gcloud run worker-pools update WORKER_POOL \
    --container=container1 \
    --clear-volumes \
    --clear-volume-mounts \
    --container=container2 \
    --clear-volumes \
    --clear-volume-mounts

Remover volumes e montagens de volume individuais

Para remover um volume, também é preciso remover todas as montagens de volume que o usam.

Para remover volumes ou ativações de volume individuais, use as flags remove-volume e remove-volume-mount:

gcloud run worker-pools update WORKER_POOL \
    --remove-volume VOLUME_NAME \
    --container=container1 \
    --remove-volume-mount MOUNT_PATH \
    --container=container2 \
    --remove-volume-mount MOUNT_PATH

Práticas recomendadas

Siga estas práticas recomendadas para gerenciar dados temporários de maneira eficaz e otimizar o desempenho do armazenamento.

Copiar para o armazenamento permanente

Se você pretende copiar o conteúdo do disco temporário para um armazenamento permanente, como um bucket do Cloud Storage, recomendamos a cópia incremental em vez de depender do período de carência de 10 segundos de SIGTERM para SIGKILL. Consulte Contrato de ambiente de execução de contêineres para mais informações sobre desligamentos de instâncias.

O Cloud Run pode ler e gravar no Cloud Storage sem nenhuma configuração de rede adicional. Para ter um desempenho ideal, recomendamos direcionar o tráfego de e para o Cloud Storage por uma rede VPC usando a VPC direta.

Esse método funciona se você não precisar que o recurso do Cloud Run acesse a Internet. Se você precisar de acesso à Internet, configure o Cloud NAT ou consulte Tráfego interno para uma API do Google.

Para configurar a saída de VPC direta com um pool de workers, siga estas etapas:

  1. No console Google Cloud , acesse a página do Cloud Run:

    Acessar o Cloud Run

  2. Selecione Pools de workers no menu e clique em Implantar contêiner para configurar um novo pool de workers. Se você estiver configurando um pool de workers, clique nele e em Editar e implantar nova revisão.

  3. Se você estiver configurando um novo pool de workers, preencha a página inicial do pool e clique em Contêineres, rede, segurança para expandir a página de configuração do pool.

  4. Clique na guia Rede.

  5. Selecione Conectar a uma VPC.

  6. Em Roteamento de tráfego, selecione Rotear todo o tráfego para a VPC para enviar todo o tráfego de saída pela rede VPC.

  7. Clique em Criar ou Implantar.

    Agora é possível enviar solicitações do seu pool de workers do Cloud Run para qualquer recurso na rede VPC, conforme permitido pelas regras de firewall.

  8. Ative o Acesso privado do Google na sub-rede a que você se conectou.

Resolver problemas

Se você notar velocidades de rede lentas ao baixar uma grande quantidade de dados para o disco temporário, siga as etapas para ativar a VPC direta. Se a VPC direta não estiver ativada, as velocidades de transferência de rede serão mais lentas.