Resolver problemas do CoMMA

Nesta página, mostramos como resolver problemas comuns que podem ocorrer ao usar o Collective Communication Analyzer (CoMMA). O CoMMA é uma biblioteca que coleta dados de telemetria para Google Cloud serviços. Para mais informações, consulte Collective Communication Analyzer (CoMMA).

Resolver problemas de carregamento do CoMMA

O CoMMA pode não ser carregado corretamente. Para verificar se os binários são carregados corretamente, siga estas etapas:

  1. Ative a geração de registros de depuração do NCCL. Para ativar a geração de registros, defina a variável de ambiente NCCL_DEBUG=INFO. Você também pode usar um nível de depuração mais detalhado. Para conferir as opções, consulte a NCCL_DEBUG seção na documentação da NVIDIA.
  2. Especifique o subsistema INIT para depuração. Para especificar INIT, defina NCCL_DEBUG_SUBSYS=INIT. Você também pode adicionar outros subsistemas. Para mais opções de subsistema, consulte a NCCL_DEBUG_SUBSYS seção.

  3. Procure uma linha no registro do NCCL semelhante a esta: NCCL INFO PROFILER/Plugin: Plugin name set by env to PATH_TO_PROFILER_PLUGIN

    Se a variável de ambiente NCCL_PROFILER_PLUGIN não estiver definida, o NCCL poderá tentar carregar o binário libnccl-profiler.so do caminho especificado na variável de ambiente LD_LIBRARY_PATH.

Para resolver esse problema, considere as seguintes soluções:

  • Verifique se a biblioteca compartilhada do plug-in (libnccl-profiler.so) está nomeada corretamente.

    Confira se ela está localizada em um diretório especificado na variável de ambiente LD_LIBRARY_PATH. Como alternativa, verifique se a variável de ambiente NCCL_PROFILER_PLUGIN aponta diretamente para o local do binário libnccl-profiler.so.

  • Verifique se a versão do NCCL é 2.23 ou mais recente, já que a API do profiler do NCCL exige essa versão.

Resolver problemas de arquivos de saída ausentes

Se você configurou seu ambiente para enviar dados coletados pelo CoMMA para um arquivo local, mas o arquivo de saída está ausente, verifique os registros do NCCL ou do aplicativo em busca de mensagens semelhantes a estas:

Failed to open file
Failed to log <telemetry type> to file

Esses erros indicam um problema subjacente do sistema de arquivos, como um diretório ausente ou espaço livre insuficiente. O CoMMA deixa de exportar a telemetria para arquivos após a ocorrência desses erros.

Para resolver esse problema, considere estas soluções:

  • Verifique se as variáveis de ambiente NCCL_PROFILER_LATENCY_FILE ou NCCL_PROFILER_SUMMARY_FILE estão definidas corretamente. Forneça um caminho e um modelo de nome de arquivo válidos, como /tmp/latency-%p.txt.
  • Verifique se o processo tem permissões de gravação no diretório de saída especificado.
  • Se você modificou a variável de ambiente NCCL_TELEMETRY_MODE, verifique se ela está definida como um valor que permite a saída de arquivos locais (por exemplo, 1 ou 4).

Resolver problemas de dados inesperados ou eventos ausentes

O CoMMA pode capturar dados inesperados ou perder eventos esperados.

Para resolver esse problema, verifique se o nível de granularidade necessário está definido .