Surveiller des VM TPU

Ce guide explique comment utiliser Cloud Monitoring pour surveiller vos VM TPU. Cloud Monitoring collecte automatiquement des métriques et des journaux à partir de votre TPU et de sa VM hôte. Ces données peuvent ensuite être utilisées pour surveiller l'état de votre TPU et de Compute Engine.

Les métriques vous permettent de suivre une quantité numérique au fil du temps (par exemple, l'utilisation du processeur, l'utilisation du réseau ou la durée d'inactivité des TensorCores), tandis que les journaux capturent les événements à un moment précis. Les entrées de journal sont écrites par votre propre code, par les servicesGoogle Cloud , par les applications tierces et par l'infrastructureGoogle Cloud . Vous pouvez aussi générer des métriques à partir des données présentes dans une entrée de journal en créant une métrique basée sur les journaux. Vous pouvez également définir des règles d'alerte en fonction des valeurs de métriques ou des entrées de journal.

Pour surveiller les TPU, vous pouvez aussi utiliser le planificateur de capacité (preview). Le planificateur de capacité vous permet de visualiser les données d'utilisation des TPU et données de prévision pour votre projet, votre dossier ou votre organisation. Ces données, qui sont mises à jour toutes les 24 heures, vous aident à analyser les tendances d'utilisation et à planifier vos futurs besoins en capacité. Pour en savoir plus, consultez Présentation du planificateur de capacité.

Accéder aux métriques de TPU

Compute Engine génère deux types de métriques TPU : les métriques d'exécution TPU et les métriques d'infrastructure de VM TPU. Vous pouvez obtenir les métriques de deux manières :

• Bibliothèque de surveillance des TPU : obtenez des métriques d'exécution des TPU à partir du SDK LibTPU à l'aide de la bibliothèque de surveillance des TPU. Cela permet à vos applications d'obtenir des données de télémétrie en temps réel à partir de l'environnement invité. Pour en savoir plus, consultez la bibliothèque de surveillance des TPU.

• Collecteur de télémétrie de l'IA : obtenez des métriques d'exécution et d'infrastructure de VM grâce au collecteur de télémétrie de l'IA. Le collecteur de télémétrie d'IA s'exécute dans la VM TPU et vous permet d'accéder aux métriques via Cloud Monitoring ou votre propre pipeline de surveillance basé sur Prometheus. Pour en savoir plus, consultez Collecteur de télémétrie de l'IA.

Métriques de TPU

Les métriquesGoogle Cloud pour Cloud TPU sont générées automatiquement par les VM Compute Engine et l'environnement d'exécution de Cloud TPU. Les métriques du tableau suivant sont générées par les VM Compute Engine.

Les chaînes "Type de métrique" de ce tableau doivent être précédées du préfixe compute.googleapis.com/. Ce préfixe a été omis dans les entrées du tableau. Lorsque vous interrogez une étiquette, utilisez le préfixe metric.labels (par exemple, metric.labels.LABEL="VALUE").

Pour obtenir la liste complète des métriques générées par Compute Engine, consultez Métriques Compute Engine.

Collecteur de télémétrie de l'IA

Le collecteur de télémétrie d'IA collecte et publie les métriques TPU sous l'espace de noms compute.googleapis.com pour les TPU créés à l'aide de l'API Compute Engine. Ces métriques sont des métriques système intégrées qui offrent une visibilité sur l'état et les performances.

L'architecture du collecteur de télémétrie d'IA est conçue comme un collecteur OpenTelemetry (OTEL) léger et spécialisé. Il utilise deux récepteurs principaux pour capturer les données :

• Récepteur de l'environnement d'exécution TPU : récupère les métriques d'exécution et de charge de travail (telles que le rapport cyclique et l'utilisation de la mémoire) directement à partir de l'environnement d'exécution TPU lorsqu'une charge de travail de machine learning est active.
• Récepteur hôte TPU : capture les métriques d'utilisation du matériel, telles que l'utilisation des TensorCores et de la bande passante mémoire, directement à partir de l'appareil, qu'une charge de travail soit en cours d'exécution ou non.

Le collecteur de télémétrie d'IA utilise ensuite des processeurs pour appliquer automatiquement les tags de ressources nécessaires (tels que project_id, instance_id et zone) et exporter la télémétrie de manière sécurisée directement vers Cloud Monitoring.

Le collecteur de télémétrie d'IA est préinstallé dans les images Ubuntu LTS optimisées pour les TPU de Google et s'exécute automatiquement au démarrage de la VM. Pour utiliser cette configuration, spécifiez le projet et la famille d'images d'accélérateur Google officiels lorsque vous créez une instance de VM TPU ou un modèle d'instance. Une fois la VM démarrée, le collecteur de télémétrie d'IA envoie automatiquement les métriques aux tableaux de bord Cloud Monitoring.

Si vous créez des images de système d'exploitation personnalisées, vous pouvez utiliser le collecteur de télémétrie de l'IA après avoir installé et exécuté l'image Docker ai-telemetry-collector. Pour en savoir plus, consultez Utiliser une image d'OS personnalisée.

Configuration

Le collecteur de télémétrie de l'IA envoie automatiquement des métriques aux tableaux de bord Cloud Monitoring et ne nécessite aucune étape de configuration supplémentaire. Toutefois, vous pouvez configurer le package Snap ou l'image Docker pour ajouter des destinations d'exportation externes, modifier les intervalles de collecte des métriques et inclure des options de débogage.

Vous pouvez remplacer la configuration par défaut par un nouveau fichier de configuration ou ajouter un fichier de configuration supplémentaire à la configuration par défaut existante. Lorsque vous ajoutez des configurations, les clés qui n'existent pas encore sont ajoutées et celles qui existent déjà sont écrasées. Toutefois, les tableaux et les listes ne sont pas additifs. Par conséquent, les nouvelles listes doivent inclure à la fois les valeurs existantes et les nouvelles.

Le fichier YAML suivant configure le collecteur de télémétrie d'IA pour envoyer des métriques à Prometheus, une boîte à outils Open Source de surveillance et d'alerte pour les systèmes. Il active également l'option de débogage, qui affiche les métriques d'impression dans la console.

exporters:
  prometheus:
    endpoint: 0.0.0.0:8889

service:
  pipelines:
    metrics:
      exporters:
      -   prometheus # For more: https://prometheus.io/docs/introduction/overview/
      -   googlecloud # If you do not include this, you'll lose Google Cloud Monitoring
      -   debug # print metrics within the console

OS par défaut

Si vous utilisez les images Ubuntu LTS optimisées pour les TPU de Google, exécutez la commande Snap suivante pour ajouter le nouveau fichier de configuration à la configuration existante :

sudo snap set \
  ai-telemetry-collector \
  extra-flags="--config /home/username/additional-config.yaml"

Si vous souhaitez remplacer la configuration existante, utilisez le flag config-path au lieu de extra-flags :

sudo snap set \
  ai-telemetry-collector \
  config-path="/home/username/new-config.yaml"

La commande snap set doit déclencher un redémarrage automatique du collecteur de télémétrie de l'IA. Pour vérifier que le collecteur a redémarré et que vos configurations ont bien été appliquées, utilisez la commande suivante pour afficher les journaux :

sudo snap logs -f ai-telemetry-collector

OS personnalisé

Si vous utilisez un OS personnalisé, exécutez la commande Docker suivante pour ajouter le nouveau fichier de configuration à la configuration existante :

# First apply the default configs via `--config=/etc/ai-telemetry-collector/config.yaml`
# Then apply your additional config by volume mount.

docker run --privileged --net=host                                                                   \
  -v <path>/additional-config.yaml:/etc/ai-telemetry-collector/additional-config.yaml \
  ai-telemetry-collector:latest                                                       \
  --config=/etc/ai-telemetry-collector/config.yaml                                    \
  --config=/etc/ai-telemetry-collector/additional-config.yaml

Si vous souhaitez écraser et remplacer la configuration existante, utilisez la commande Docker suivante :

# Mount a volume (your config file) to `/etc/ai-telemetry-collector/config.yaml`
# The binary automatically picks up this file.

docker run --privileged --net=host                                               \
  -v <path>/my-config.yaml:/etc/ai-telemetry-collector/config.yaml   \
  ai-telemetry-collector:latest

Journaux d'audit

Les servicesGoogle Cloud génèrent des journaux d'audit qui enregistrent les activités d'administration et d'accès dans vos ressources Google Cloud . Pour en savoir plus, consultez la section Journaux d'audit Compute Engine.