Supervisa VMs de TPU

En esta guía, se explica cómo usar Cloud Monitoring para supervisar tus VMs de TPU. Cloud Monitoring recopila automáticamente métricas y registros de tu TPU y su VM host. Estos datos se pueden usar para supervisar el estado de tu TPU y Compute Engine.

Las métricas te permiten hacer un seguimiento de una cantidad numérica a lo largo del tiempo, por ejemplo, el uso de CPU y la red, o la duración de inactividad de TensorCore. Los registros capturan eventos en un momento específico. Las entradas de registro las escriben tu propio código, los servicios deGoogle Cloud , las aplicaciones de terceros y la infraestructura deGoogle Cloud . También puedes generar métricas a partir de los datos presentes en una entrada de registro creando una métrica basada en registros. También puedes establecer políticas de alertas basadas en valores de métricas o entradas de registro.

Para supervisar las TPU, también puedes usar Capacity Planner (versión preliminar). Con Capacity Planner, puedes ver los datos de uso y previsión de la TPU para tu proyecto, carpeta u organización. Estos datos se actualizan cada 24 horas y puedes usarlos para analizar las tendencias de uso y planificar las necesidades de capacidad futuras. Para obtener más información, consulta la Descripción general del Planificador de capacidad.

Accede a las métricas de TPU

Compute Engine genera dos tipos de métricas de TPU: métricas del entorno de ejecución de TPU y métricas de infraestructura de la VM de TPU. Puedes obtener las métricas de dos maneras:

• Biblioteca de supervisión de TPU: Obtén métricas del entorno de ejecución de TPU del SDK de LibTPU con la biblioteca de supervisión de TPU. Esto permite que tus aplicaciones obtengan telemetría en tiempo real desde el entorno invitado. Para obtener más información, consulta la biblioteca de supervisión de TPU.

• Recopilador de telemetría de IA: Obtén métricas de tiempo de ejecución y de infraestructura de VM a través del recopilador de telemetría de IA. El recopilador de telemetría de IA se ejecuta dentro de la VM de TPU y te permite acceder a las métricas a través de Cloud Monitoring o de tu propia canalización de supervisión basada en Prometheus. Para obtener más información, consulta AI Telemetry Collector.

Métricas de TPU

Las métricas deGoogle Cloud para Cloud TPU se generan automáticamente en las VMs de Compute Engine y el entorno de ejecución de Cloud TPU. Las métricas de las siguientes tablas son generadas por las VMs de Compute Engine. Para obtener una lista completa de las métricas que genera Compute Engine, consulta Métricas de Compute Engine.

Las cadenas de “tipo de métrica” de esta tabla deben tener el prefijo compute.googleapis.com/. Este prefijo se omitió en las entradas de la tabla. Cuando consultes una etiqueta, usa el prefijo metric.labels. Por ejemplo, metric.labels.LABEL="VALUE".

Disponibilidad general (DG)

Beta

Alfa

Recopilador de telemetría de IA

El recopilador de telemetría de IA recopila y publica métricas de TPU en el espacio de nombres compute.googleapis.com para las TPU creadas con la API de Compute Engine. Estas métricas son métricas del sistema integradas que proporcionan visibilidad del estado y el rendimiento.

La arquitectura del recopilador de telemetría de IA está diseñada como un recopilador de OpenTelemetry (OTEL) especializado y ligero. Utiliza dos receptores principales para capturar datos:

• TPU Runtime Receiver: Extrae métricas de tiempo de ejecución y de carga de trabajo (como el ciclo de trabajo y el uso de memoria) directamente del tiempo de ejecución de la TPU cuando hay una carga de trabajo de aprendizaje automático activa.
• Receptor del host de TPU: Captura métricas de uso del hardware, como el uso de TensorCore y el uso de ancho de banda de memoria, directamente desde el dispositivo, independientemente de si se está ejecutando una carga de trabajo.

Luego, el recopilador de telemetría de IA usa procesadores para aplicar automáticamente las etiquetas de recursos necesarias (como project_id, instance_id y zone) y exporta de forma segura la telemetría directamente a Cloud Monitoring.

El recopilador de telemetría de IA viene preinstalado en las imágenes de Ubuntu LTS optimizadas para TPU de Google y se ejecuta automáticamente cuando se inicia la VM. Para usar esta configuración, especifica el proyecto y la familia de imágenes oficiales del acelerador de Google cuando crees una instancia de VM de TPU o una plantilla de instancias. Una vez que se inicia la VM, el recopilador de telemetría de IA envía automáticamente métricas a los paneles de Cloud Monitoring.

Si compilas imágenes personalizadas del sistema operativo, puedes usar el recopilador de telemetría de IA después de instalar y ejecutar la imagen de Docker ai-telemetry-collector. Para obtener más información, consulta Usa una imagen del SO personalizada.

Configuración

El recopilador de telemetría de IA envía automáticamente métricas a los paneles de Cloud Monitoring y no requiere pasos de configuración adicionales. Sin embargo, puedes configurar el paquete Snap o la imagen de Docker para agregar destinos de exportación externos, modificar los intervalos de recopilación de métricas y, también, incluir opciones de depuración.

Puedes reemplazar la configuración predeterminada por un archivo de configuración nuevo o agregar un archivo de configuración adicional a la configuración predeterminada existente. Cuando se agregan parámetros de configuración, se agregan las claves que aún no existen y se reemplazan las que ya existen. Sin embargo, los arrays y las listas no son aditivos, por lo que las listas nuevas deben incluir tanto los valores existentes como los nuevos.

El siguiente archivo YAML configura el recopilador de telemetría de IA para enviar métricas a Prometheus, un kit de herramientas de alertas y supervisión de sistemas de código abierto. También habilita la opción de depuración, que imprime métricas en la consola.

exporters:
  prometheus:
    endpoint: 0.0.0.0:8889

service:
  pipelines:
    metrics:
      exporters:
      -   prometheus # For more: https://prometheus.io/docs/introduction/overview/
      -   googlecloud # If you do not include this, you'll lose Google Cloud Monitoring
      -   debug # print metrics within the console

SO predeterminado

Si usas las imágenes de Ubuntu LTS optimizadas para TPU de Google, ejecuta el siguiente comando de Snap para agregar el nuevo archivo de configuración a la configuración existente:

sudo snap set \
  ai-telemetry-collector \
  extra-flags="--config /home/username/additional-config.yaml"

Si quieres reemplazar la configuración existente, usa la marca config-path en lugar de extra-flags:

sudo snap set \
  ai-telemetry-collector \
  config-path="/home/username/new-config.yaml"

El comando snap set debería activar un reinicio automático del recopilador de telemetría de IA. Para verificar que el recopilador se reinició y aplicó correctamente tus configuraciones, usa el siguiente comando para ver los registros:

sudo snap logs -f ai-telemetry-collector

SO personalizado

Si usas un SO personalizado, ejecuta el siguiente comando de Docker para agregar el nuevo archivo de configuración a la configuración existente:

# First apply the default configs via `--config=/etc/ai-telemetry-collector/config.yaml`
# Then apply your additional config by volume mount.

docker run --privileged --net=host                                                                   \
  -v <path>/additional-config.yaml:/etc/ai-telemetry-collector/additional-config.yaml \
  ai-telemetry-collector:latest                                                       \
  --config=/etc/ai-telemetry-collector/config.yaml                                    \
  --config=/etc/ai-telemetry-collector/additional-config.yaml

Si deseas reemplazar la configuración existente, usa el siguiente comando de Docker:

# Mount a volume (your config file) to `/etc/ai-telemetry-collector/config.yaml`
# The binary automatically picks up this file.

docker run --privileged --net=host                                               \
  -v <path>/my-config.yaml:/etc/ai-telemetry-collector/config.yaml   \
  ai-telemetry-collector:latest

Registros de auditoría

Los servicios deGoogle Cloud generan registros de auditoría que registran las actividades administrativas y de acceso dentro de tus recursos de Google Cloud . Para obtener más información, consulta Registro de auditoría de Compute Engine.