Risolvere i problemi relativi a CoMMA

Questa pagina mostra come risolvere i problemi comuni che potresti riscontrare quando utilizzi Collective Communication Analyzer (CoMMA). CoMMA è una libreria che raccoglie dati di telemetria per i Google Cloud servizi. Per saperne di più, consulta Collective Communication Analyzer (CoMMA).

Risolvere i problemi di caricamento di CoMMA

CoMMA potrebbe non essere caricato correttamente. Per verificare che i file binari vengano caricati correttamente, completa questi passaggi:

  1. Attiva il logging di debug NCCL. Per attivare il logging, imposta la variabile di ambiente NCCL_DEBUG=INFO. Puoi anche utilizzare un livello di debug più dettagliato. Per le opzioni, consulta la NCCL_DEBUG sezione nella documentazione NVIDIA.
  2. Specifica il sottosistema INIT per il debug. Per specificare INIT, imposta NCCL_DEBUG_SUBSYS=INIT. Puoi anche aggiungere altri sottosistemi. Per ulteriori opzioni del sottosistema, consulta la sezione NCCL_DEBUG_SUBSYS.

  3. Cerca una riga nel log NCCL simile alla seguente: NCCL INFO PROFILER/Plugin: Plugin name set by env to PATH_TO_PROFILER_PLUGIN

    Se la variabile di ambiente NCCL_PROFILER_PLUGIN non è impostata, NCCL potrebbe tentare di caricare il file binario libnccl-profiler.so dal percorso specificato nella variabile di ambiente LD_LIBRARY_PATH.

Per risolvere il problema, valuta le seguenti soluzioni:

  • Verifica che la libreria condivisa del plug-in (libnccl-profiler.so) abbia il nome corretto.

    Controlla che si trovi in una directory specificata nella variabile di ambiente LD_LIBRARY_PATH. In alternativa, verifica che la variabile di ambiente NCCL_PROFILER_PLUGIN punti direttamente alla posizione del file binario libnccl-profiler.so.

  • Verifica di avere la versione 2.23 o successiva di NCCL, poiché l'API del profiler NCCL richiede questa versione.

Risolvere i problemi relativi ai file di output mancanti

Se hai configurato l'ambiente in modo da inviare i dati raccolti da CoMMA a un file locale, ma il file di output non è presente, controlla i log NCCL o i log delle applicazioni per i messaggi simili ai seguenti:

Failed to open file
Failed to log <telemetry type> to file

Questi errori indicano un problema sottostante del file system, ad esempio una directory mancante o uno spazio libero insufficiente. Dopo che si verificano questi errori, CoMMA smette di esportare la telemetria nei file.

Per risolvere il problema, valuta queste soluzioni:

  • Verifica che le variabili di ambiente NCCL_PROFILER_LATENCY_FILE o NCCL_PROFILER_SUMMARY_FILE siano impostate correttamente. Fornisci un percorso e un modello di nome file validi, ad esempio /tmp/latency-%p.txt.
  • Verifica che il processo disponga delle autorizzazioni di scrittura per la directory di output specificata.
  • Se hai modificato la variabile di ambiente NCCL_TELEMETRY_MODE, verifica di averla impostata su un valore che consenta l'output del file locale (ad esempio, 1 o 4).

Risolvere i problemi relativi a dati imprevisti o eventi mancanti

CoMMA potrebbe acquisire dati imprevisti o perdere eventi previsti.

Per risolvere il problema, verifica che sia impostato il livello di granularità richiesto .