Planejar os recursos do Cloud TPU

Nesta página, descrevemos como planejar o uso da Unidade de Processamento de Tensor (TPU).

Escolha uma opção de consumo

As opções de consumo se referem às maneiras de receber e usar recursos de computação. É possível solicitar capacidade de VM do Cloud TPU com base nas suas necessidades de velocidade, duração, custo e tolerância a preempção. As opções incluem:

  • Sob demanda:instâncias padrão de pagamento por uso.
  • VMs spot:instâncias preemptivas de menor custo. Usa cota preemptiva.
  • VMs de início flexível:reserve capacidade conforme necessário, por até sete dias, sem reservas de longo prazo ou gerenciamento complexo de cotas.
  • Reservas:reserve capacidade por uma duração específica (até 90 dias ou mais de um ano), garantindo a disponibilidade. Usa cota on demand.

A tabela a seguir compara as opções de consumo de TPU com base em como elas funcionam, nos casos de uso ideais e nas versões de TPU compatíveis.

Opção de consumo Como funciona Melhor aplicação Versões compatíveis da TPU
Reservas adiantadas por um ano ou mais

Você solicita recursos de TPU por um ano ou mais com antecedência. Esses recursos são reservados para seu uso exclusivo durante esse período.

As reservas oferecem o mais alto nível de garantia de capacidade e oferecem um preço menor do que os recursos on demand.

As reservas adiantadas de TPU incluem um desconto por compromisso de uso (CUD) Os CUDs oferecem preços com desconto quando você compra um contrato de compromisso de uso Para mais informações, consulte Reservas adiantadas por um ano ou mais

 As reservas adiantadas por um ano ou mais são ideais para jobs de treinamento de longa duração e cargas de trabalho de inferência. Todas as versões de TPU
Reservas adiantadas por até 90 dias (modo de calendário)

Você solicita recursos de TPU para um horário de início e duração específicos, entre um e 90 dias. Esses recursos são reservados para seu uso exclusivo durante esse período. Para mais informações, consulte Reservas adiantadas por até 90 dias (no modo de calendário).

As reservas oferecem o mais alto nível de garantia de capacidade e um preço menor do que os recursos on demand.

 As reservas adiantadas no modo de calendário são adequadas para cargas de trabalho de treinamento e experimentação que exigem horários de início precisos e têm uma duração definida. TPU7x, TPU v6e e TPU v5p
Sob demanda

Você solicita recursos de TPU para uso imediato, pelo tempo que precisar.

A opção sob demanda oferece flexibilidade significativa. Os recursos on demand não são preemptivos, mas não há garantia de que haverá recursos de TPU suficientes disponíveis para atender à solicitação. A opção on demand é a padrão ao criar recursos de TPU. Para saber como criar e usar TPUs on demand, consulte Criar VMs de TPU.

 O modelo on demand é adequado para jobs urgentes e cargas de trabalho que exigem um horário de término flexível. Todas as versões de TPU
Início flexível (pré-lançamento)

Você solicita recursos de TPU por um período específico, de até sete dias, sem reservar capacidade com antecedência.

As VMs de TPU de início flexível que são fornecidas fazem parte de um pool dedicado de capacidade. Por isso, a disponibilidade desses recursos é maior do que a de recursos on demand. Para saber mais, consulte Solicitar VMs de TPU de início flexível.

Para saber como usar VMs de TPU de início flexível com o Google Kubernetes Engine (GKE), consulte Sobre o provisionamento de GPUs e TPUs com o modo de provisionamento de início flexível.

 O início flexível é ideal para experimentos, testes em pequena escala, provisionamento dinâmico de TPUs para cargas de trabalho de inferência, ajuste de modelos, e execuções de carga de trabalho que levam menos de sete dias. TPU7x, TPU v6e e TPU v5p
Spot

Você solicita recursos de TPU que podem ser preemptivos.

As VMs spot estão disponíveis a um preço significativamente menor do que on-demand resources. As VMs spot geralmente são mais fáceis de conseguir do que os recursos on demand, mas podem ser forçadas a interrupção (desligadas) a qualquer momento. Não há limite para a duração do ambiente de execução. Para mais informações sobre VMs spot de TPU, consulte Gerenciar VMs spot de TPU.

 A opção Spot é adequada para programar cargas de trabalho de baixa prioridade, como pré-treinamento e ajuste de modelos e jobs de simulação tolerantes a interrupções de disponibilidade. Todas as versões de TPU

Escolher a versão da TPU

Selecione a versão da TPU, por exemplo, v5p, v6e ou TPU7x (Ironwood), com base nas necessidades de treinamento ou inferência do modelo. Para mais informações, consulte Versões de TPU.

Solicitar cota de TPU

Para usar VMs de TPU, independentemente da opção de consumo, é necessário ter uma cota on demand ou preemptiva para recursos do Cloud TPU. Verifique se você tem cota suficiente para a opção, a versão da TPU, o tamanho e a zona escolhidos. As cotas são específicas para cada versão de TPU e são diferentes para uso on demand e preemptivo. Algumas versões de TPU têm cotas padrão. Para outras, é necessário solicitar cota. Para mais informações, consulte Cotas do Compute Engine.

A seguir