Acerca de las políticas de cargas de trabajo en los MIG

En este documento, se explican los requisitos y las limitaciones que se aplican cuando se usan políticas de cargas de trabajo con grupos de instancias administrados (MIG). De forma predeterminada, solo puedes administrar la ubicación de tus instancias de Compute Engine especificando sus zonas. Las políticas de cargas de trabajo te permiten definir la posición física y la topología de tus instancias de procesamiento dentro de una zona. Por ejemplo, este enfoque te ayuda a minimizar la latencia de red en tus instancias de procesamiento colocándolas más cerca unas de otras.

Solo puedes aplicar políticas de cargas de trabajo a los MIG que usan instancias A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High (8 GPUs), H4D o TPU (TPU7x, v6e o v5p). Si usas instancias de A4X Max o A4X, o bien creas un MIG con una porción de TPU multihost, se requiere una política de carga de trabajo, a menos que crees una sola instancia de procesamiento para realizar pruebas. Para las otras series de máquinas compatibles, las políticas de cargas de trabajo son opcionales.

Para controlar la ubicación de las instancias de procesamiento que usan otras series de máquinas, usa políticas de posición.

Información sobre las políticas de cargas de trabajo

En las siguientes secciones, se describen los casos de uso de las políticas de carga de trabajo y las propiedades que especificas cuando creas políticas de carga de trabajo.

Administra la posición y la topología de las instancias de procesamiento

Después de crear una política de cargas de trabajo y aplicarla a un MIG, estas políticas te ayudan a lograr lo siguiente:

  • Crea instancias de procesamiento cercanas entre sí: Si hay capacidad disponible, Compute Engine crea instancias de procesamiento cercanas entre sí. De lo contrario, Compute Engine creará solo algunas de las instancias de procesamiento solicitadas o ninguna.

  • Obtén visibilidad de la topología de tu instancia de procesamiento: Después de aplicar una política de cargas de trabajo con un tipo de alta capacidad de procesamiento (HIGH_THROUGHPUT) a un MIG y de que el MIG cree instancias de procesamiento, puedes ver la posición de las instancias de procesamiento en relación con las demás. Esta información te ayuda a minimizar la latencia de la red y solucionar problemas. Para obtener más información, consulta Cómo ver la ubicación física de una instancia de Compute Engine.

Puedes aplicar la misma política de cargas de trabajo a varios MIGs. Cuando lo haces, Compute Engine aplica las reglas de posición a cada MIG de forma independiente.

En la siguiente sección, se describen las propiedades que debes especificar cuando creas políticas de carga de trabajo.

Configura las propiedades de la política de cargas de trabajo

Cuando creas una política de carga de trabajo, debes especificar las siguientes propiedades:

  • Tipo de carga de trabajo (type): Este campo define el objetivo general de tu clúster. Solo puedes especificar HIGH_THROUGHPUT, que le indica a Compute Engine que coloque las instancias de procesamiento lo más cerca posible para acelerar la comunicación.

  • Según la serie de máquinas que usan las instancias de procesamiento en tu MIG, puedes especificar de forma opcional una de las siguientes propiedades:

    • Topología del acelerador (acceleratorTopology): Esta propiedad te ayuda a lograr un alto rendimiento para las cargas de trabajo distribuidas que se ejecutan en varias instancias de A4X Max o A4X, o en porciones de TPU de varios hosts, que usan una configuración de red entre aceleradores especializada. Para obtener más información, consulta Propiedad de topología del acelerador.

    • Distancia máxima de la topología (maxTopologyDistance): Esta propiedad define el límite físico más estricto para crear tus instancias A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) o H4D, como el mismo bloque o subbloque. Si Compute Engine no puede cumplir con este límite estricto debido a errores de disponibilidad de recursos, solo creará parte de las instancias de procesamiento solicitadas o ninguna. Para obtener más información, consulta Propiedad de distancia máxima de la topología.

Propiedad de la topología del acelerador

Para lograr un rendimiento de red a gran escala y sin bloqueos, Compute Engine organiza las instancias A4X Max y A4X en una jerarquía física de bloques y subbloques.

Para crear un MIG con instancias A4X Max o A4X, o bien porciones de TPU de varios hosts, debes aplicar una política de carga de trabajo al MIG que especifique la propiedad de topología del acelerador (acceleratorTopology). Esta propiedad define la configuración de red física para una segmentación de instancias de procesamiento. Una división actúa como un único acelerador masivo que proporciona la máxima capacidad de procesamiento para tus cargas de trabajo de IA o AA distribuidas.

En la siguiente tabla, se muestran los valores de la topología del acelerador para los chips A4X Max y A4X. Para obtener más información sobre los valores de topología para las segmentaciones de TPU de varios hosts, consulta Topología de TPU.

Valor de la topología del acelerador Descripción Serie de máquinas compatible Cantidad máxima de instancias de procesamiento
1x72 Compute Engine organiza las instancias de procesamiento en subbloques asignados de forma densa de 18 instancias de procesamiento, lo que suma 72 GPUs. Dado que cada subbloque requiere su propio MIG, puedes crear un máximo de 18 instancias de procesamiento por MIG. Un bloque completo consta de 25 MIG, lo que equivale a 450 instancias de procesamiento. A4X Max y A4X 18

Para obtener más información sobre las instancias A4X Max y A4X, consulta Las series de máquinas A4X Max y A4X.

Propiedad de distancia máxima de la topología

Cuando creas y aplicas una política de carga de trabajo a un MIG, Compute Engine hace su mejor esfuerzo para crear tus instancias de procesamiento cerca unas de otras. Si necesitas la máxima compacidad en una zona, te recomendamos que especifiques la propiedad de distancia máxima de la topología (maxTopologyDistance). Un valor máximo de distancia topológica especifica que se creen instancias A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) o H4D en el mismo clúster, bloque o subbloque.

En la siguiente tabla, se muestran los valores máximos de distancia de topología y las series de máquinas que admiten:

Valor de distancia máxima de la topología Descripción Serie de máquinas compatible Cantidad máxima de instancias de procesamiento
Sin especificar (no recomendado) Compute Engine hace su mejor esfuerzo para colocar las instancias de procesamiento lo más cerca posible entre sí, pero sin garantía de distancia máxima entre las instancias de procesamiento en una zona. A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) y H4D 1,500
CLUSTER Compute Engine crea instancias de procesamiento en bloques adyacentes dentro de un clúster. A4 y H4D 1,500
BLOCK Compute Engine crea instancias de procesamiento en el mismo bloque. A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) o H4D
  • Para A4 o H4D: 150
  • Para A3 Ultra, A3 Mega o A3 High (8 GPUs): 256
SUBBLOCK Compute Engine crea instancias de procesamiento en el mismo subbloque, lo que minimiza la latencia de red tanto como sea posible. A4, A3 Ultra y H4D 22

Precios

No hay costos adicionales asociados con la creación, eliminación o aplicación de políticas de cargas de trabajo a un MIG.

Serie de máquinas compatible

Solo puedes aplicar políticas de cargas de trabajo a los MIG que tengan instancias de procesamiento que usen las siguientes combinaciones de series de máquinas y modelos de aprovisionamiento:

Series de máquinas Inicio flexible Spot Con reserva Estándar
A4X Max No No Sí No
A4X No No Sí No
A4 Sí Sí Sí No
A3 Ultra Sí Sí Sí No
A3 Mega No Sí Sí No
A3 High (8 GPUs) No Sí Sí No
H4D Sí Sí Sí No
TPU7x Sí Sí Sí Sí
TPU v6e Sí Sí Sí Sí
TPU v5p Sí Sí Sí Sí

Limitaciones

Para las políticas de cargas de trabajo en los MIG, se aplican las siguientes limitaciones:

  • Solo puedes aplicar una política de carga de trabajo a un MIG existente o cambiar su política de carga de trabajo si no hay instancias de procesamiento en el MIG.

  • Solo puedes aplicar políticas de cargas de trabajo a los MIGs regionales si estos usan las siguientes formas de distribución objetivo:

    • Para los MIG con un tamaño objetivo: ANY o ANY_SINGLE_ZONE

    • Para las solicitudes de cambio de tamaño del MIG: ANY_SINGLE_ZONE

  • No puedes actualizar una política de carga de trabajo después de crearla.

  • No puedes configurar una segunda plantilla de instancias si tu MIG usa una política de carga de trabajo.

  • No puedes usar políticas de carga de trabajo junto con políticas de posición.

¿Qué sigue?