Joberstellung und -ausführung – Übersicht

In diesem Dokument werden der Ausführungsprozess und die Erstellungsoptionen für Jobs beschrieben. Mit Batchjobs können Sie Batchverarbeitungsarbeitslasten aufGoogle Cloudausführen. Informationen zu den Komponenten eines Jobs und den Voraussetzungen für die Verwendung von Batch finden Sie unter Erste Schritte mit Batch.

So funktioniert die Joberstellung und -ausführung

Wenn Sie Batch verwenden möchten, erstellen Sie einen Job, in dem Sie Ihre Arbeitslast und ihre Anforderungen angeben. Batch führt den Job dann automatisch aus.

Details zur Funktionsweise der Job-Erstellung und -Ausführung finden Sie in den folgenden Abschnitten:

  • Job-Lebenszyklus: Hier erfahren Sie mehr über die verschiedenen Status, die ein Job von der Erstellung bis zum Löschen durchläuft.
  • Job-Warteschlange und ‑Planung: Hier erfahren Sie, welche Faktoren sich darauf auswirken, wie lange es dauert, bis ein Job ausgeführt wird.
  • Jobausführung: Hier erfahren Sie, wie die Aufgaben eines Jobs während der Ausführung auf den zugehörigen Ressourcen ausgeführt werden.

Job-Lebenszyklus

In diesem Abschnitt wird der Lebenszyklus eines Jobs und seiner Aufgaben von der Erstellung bis zum Löschen beschrieben.

Für jede Arbeitslast, die Sie in Batch ausführen möchten, gehen Sie so vor:

  1. Job erstellen:Sie definieren die Arbeitslast, die ausgeführt werden soll, indem Sie die ausführbaren Elemente, Aufgaben und alle anderen Anforderungen eines Jobs angeben. Die Details zum Erstellen eines Jobs werden in diesem Dokument im Abschnitt Optionen zum Erstellen von Jobs beschrieben.
  2. Job überwachen und Fehler beheben:Wenn Sie einen Job erstellt haben, wird er automatisch in die Warteschlange gestellt, geplant und für die angegebenen Ressourcen ausgeführt. Sie können die Details eines erstellten Jobs oder einer seiner Aufgaben aufrufen, um den aktuellen Status zu sehen. Bei Bedarf können Sie einen Job abbrechen, um ihn zu stoppen oder zu verhindern, dass er ausgeführt wird. Während oder nach der Ausführung eines Jobs können Sie ihn auch anhand von Logs überwachen und analysieren. Wenn ein Job fehlschlägt, können Sie ihn anhand von Fehlermeldungen, Statusereignissen oder Logs beheben, bevor Sie ihn neu erstellen.
  3. Job löschen oder exportieren:Die Informationen zu einem Job in Batch bleiben verfügbar, bis Sie oder Google Cloud ihn löschen.Google Cloud löscht einen Job 60 Tage nach Abschluss automatisch. Bis dahin können Sie den Job optional selbst löschen. Wenn Sie die Informationen behalten müssen, können Sie die Jobinformationen in Batch exportieren, bevor der Job gelöscht wird. Informationen zu einem Job, die in anderen Google Cloud Diensten gespeichert sind, sind von der Löschung eines Jobs nicht betroffen und unterliegen separaten Aufbewahrungsrichtlinien. Die Logs eines Jobs werden beispielsweise automatisch gemäß der Cloud Logging-Aufbewahrungsrichtlinie aufbewahrt und gelöscht.

Nachdem Sie einen Job erstellt haben, durchläuft er die folgenden Status:

  1. In der Warteschlange (QUEUED): Die Jobanfrage wurde angenommen und wartet in der Warteschlange. Der Job verbleibt in der Warteschlange Ihres Projekts, bis er geplant werden kann. Das ist der Fall, wenn die erforderlichen Ressourcen verfügbar sind und die Jobs vor ihm bewertet wurden. Damit Ihre Jobs jedoch nicht veralten, schlägt Batch einen Job automatisch fehl, anstatt ihn zu planen, wenn er die maximale Wartezeit in der Warteschlange überschreitet.
  2. Geplant (SCHEDULED): Der Job wurde aus der Warteschlange ausgewählt, um ausgeführt zu werden, und die Ressourcen werden zugewiesen.

  3. Wird ausgeführt (RUNNING): Die Ressourcen für den Job wurden erfolgreich erstellt und die zugehörigen Aufgaben können ausgeführt werden.

    Wenn ein Job ausgeführt wird, durchläuft jede seiner Aufgaben die folgenden Status:

    1. Ausstehend (PENDING): Der Task wartet auf eine VM, auf der er ausgeführt werden kann.
    2. Zugewiesen (ASSIGNED): Der Aufgabe wurde eine VM zugewiesen, auf der sie ausgeführt werden soll.
    3. Wird ausgeführt (RUNNING): Der Task wird auf einer VM ausgeführt.

    4. Eine Aufgabe wird in einem der folgenden Status abgeschlossen:

      • Erfolgreich (SUCCEEDED): Die Aufgabe wurde erfolgreich ausgeführt, weil für jede ihrer ausführbaren Einheiten eine der folgenden Bedingungen erfüllt war:

        • Die ausführbare Datei wurde erfolgreich ausgeführt (es wurde ein Beendigungscode von null zurückgegeben).
        • Das ausführbare Programm ist fehlgeschlagen (es wurde ein Exitcode ungleich null zurückgegeben), aber es war ein nicht kritisch ausführbares Programm (Sie haben das Feld ignoreExitStatus des ausführbaren Programms aktiviert).
        • Das Runnable wurde nicht beendet, sondern war ein Background-Runnable (Sie haben das Feld background des Runnables aktiviert).

      • Fehlgeschlagen (FAILED): Die Aufgabe ist fehlgeschlagen und wurde beendet, weil mindestens ein Runnable die vorherigen Bedingungen nicht erfüllt hat.

    Die Ressourcen für den Job werden gelöscht, bevor der Job abgeschlossen ist.

  4. Ein Job wird in einem der folgenden Status abgeschlossen:

    • Erfolgreich (SUCCEEDED): Der Job wurde erfolgreich abgeschlossen, da alle zugehörigen Aufgaben erfolgreich ausgeführt wurden.
    • Fehlgeschlagen (FAILED): Der Job ist fehlgeschlagen und wurde beendet, weil mindestens eine der zugehörigen Aufgaben fehlgeschlagen ist.
    • Abgebrochen (CANCELLED): Ein Nutzer hat den Job abgebrochen, bevor er erfolgreich abgeschlossen oder fehlgeschlagen ist.

Weitere Informationen finden Sie in der Referenzdokumentation unter Job-Status und Aufgabenstatus.

Job-Warteschlange und ‑Planung

Im Allgemeinen werden Jobs eher ausgeführt und schneller abgeschlossen, wenn sie kleiner sind und nur wenige gängige Ressourcen erfordern. Die Beispieljobs in der Batch-Dokumentation sind in der Regel sehr klein und verwenden nur minimale Ressourcen. Daher kann es sein, dass sie in wenigen Minuten abgeschlossen sind.

Die Zeit, die ein Job zum Abschließen der Warteschlange und Planung benötigt, variiert je nach Job und zu unterschiedlichen Zeiten. Sie hängt von den folgenden Faktoren ab:

  • Benutzerdefinierte Jobvoraussetzungen:Alle Voraussetzungen, die erfüllt sein müssen, bevor der Job geplant wird.

    Standardmäßig gibt es keine Voraussetzungen für einen Job. Optional können Sie festlegen, dass ein Job erst geplant werden kann, wenn mindestens ein vorhandener Job erfolgreich abgeschlossen oder fehlgeschlagen ist. Weitere Informationen finden Sie unter Abhängige Jobs planen (Vorschau).

  • Job-Priorität:Die Priorität eines Jobs im Vergleich zu den Prioritäten anderer Jobs in Ihrem Projekt.

    Optional können Sie die Priorität eines Jobs angeben, indem Sie das Flag --priority für die gcloud CLI oder das JSON-Feld priority einfügen. Sie können die Priorität eines Jobs als Zahl zwischen 0 (niedrigste Priorität) und 99 (höchste Priorität) definieren. Wenn Sie eine höhere Priorität festlegen, kann ein Job früher als Jobs mit niedrigerer Priorität in Ihrem Projekt ausgeführt werden.

    Wenn Sie die Priorität eines Jobs nicht konfigurieren, wird standardmäßig die niedrigste Priorität (0) verwendet. Wenn zwei in der Warteschlange befindliche Jobs dieselbe Priorität haben, hat der Job, der zuerst erstellt wurde, die höhere Priorität.

  • Verfügbarkeit von Jobressourcen:die Verfügbarkeit der für den Job erforderlichen Ressourcen an den zulässigen Standorten.

    Erstens kann ein Job nicht ausgeführt werden, wenn Sie Ressourcen angeben, die an diesem Standort nicht angeboten werden. In diesem Fall schlägt der Job mit einem Fehler bei der Zonenverfügbarkeit fehl.

    Zweitens ist es wahrscheinlicher, dass ein Job verzögert wird oder fehlschlägt, wenn für eine der erforderlichen Ressourcen aufgrund von Fehlern bei der Ressourcenverfügbarkeit nur geringe Kapazitäten im Verhältnis zur aktuellen Nachfrage verfügbar sind. Daher wird Ihr Job möglicherweise schneller ausgeführt, wenn Sie weniger, häufiger verwendete Ressourcen benötigen und die Ausführung des Jobs nicht auf bestimmte Zonen in einer Region beschränken.

    Weitere Informationen zu den Ressourcen für einen Job finden Sie in diesem Dokument unter Jobausführung. Weitere Informationen zu den Standorten, die Sie für einen Batch-Job und seine Ressourcen angeben können, finden Sie auf der Seite Standorte.

  • Kontingente und Limits:Die Grenzwerte, die für Ihr Projekt für Google Cloud Ressourcen und Anfragen gelten.

    Ein Job kann nicht ausgeführt werden, wenn er ein Limit oder das Kontingent Ihres Projekts für eine der erforderlichen Ressourcen oder Anfragen überschreitet. In diesem Fall kann es sein, dass Batch einen Job verzögert und ihn später noch einmal versucht oder dass der Job fehlschlägt und ein entsprechender Fehler angezeigt wird.

    Sie können Verzögerungen und Fehler bei Ihrem Job vermeiden, indem Sie Jobs erstellen, die alle relevanten Limits einhalten, und dafür sorgen, dass Ihr Projekt über genügend relevantes Kontingent verfügt. Weitere Informationen finden Sie unter Kontingente und Limits für Batchvorgänge.

Jobausführung

Die Ausführungsdauer eines Jobs kann je nach Aufgabenplanung und Ressourcen des Jobs variieren.

Aufgabenplanung

Wenn ein Job ausgeführt wird, werden seine Aufgaben gemäß dem Feld „Planungsrichtlinie“ (schedulingPolicy) geplant. Sie können eine der folgenden Optionen angeben:

  • So schnell wie möglich (AS_SOON_AS_POSSIBLE) (Standardeinstellung): Aufgaben werden ausgeführt, sobald Ressourcen verfügbar sind, und können parallel ausgeführt werden. Die Anzahl der Aufgaben, die gleichzeitig ausgeführt werden, hängt von den parallelen Aufgaben pro VM ab, die durch die Ressourcen des Jobs und andere Konfigurationsoptionen zulässig sind, wie im Abschnitt Jobressourcen in diesem Dokument beschrieben.
  • In Reihenfolge (IN_ORDER): Aufgaben werden einzeln in aufsteigender Indexreihenfolge ausgeführt.

Jobressourcen

Jeder Batchjob wird in einer regionalen verwalteten Instanzgruppe (Managed Instance Group, MIG) ausgeführt. Eine MIG ist eine Gruppe mit einer oder mehreren passenden Compute Engine-VM-Instanzen, die sich jeweils in einer der enthaltenen Zonen befinden. Jede VM hat dedizierte Hardware für CPU-Kerne (insbesondere virtuelle CPUs (vCPUs)) und Arbeitsspeicher, die sich auf die Leistung Ihres Jobs auswirken, sowie ein Bootlaufwerk, auf dem ein Betriebssystem-Image und Anweisungen zum Ausführen Ihres Jobs gespeichert sind.

Während der Laufzeit eines Jobs werden von Batch automatisch Ressourcen erstellt und gelöscht, die Ihren Spezifikationen entsprechen. Wenn Sie einen Job erstellen, konfigurieren Sie seine Ressourcen, indem Sie Folgendes angeben:

  • Rechenressourcen pro Aufgabe:Sofern die Standardwerte nicht ausreichen, müssen Sie die Rechenressourcen angeben, die für die Ausführung der einzelnen Aufgaben erforderlich sind, also vCPUs, Arbeitsspeicher und (falls erforderlich) zusätzlicher Speicherplatz auf dem Bootlaufwerk. Weitere Informationen finden Sie in den Feldern Compute resources per task (computeResource).

  • VM-Ressourcen:Optional können Sie auch die VMs des Jobs angeben, z. B. den Maschinentyp und das Betriebssystem sowie zusätzliche Ressourcen wie GPUs und Speichervolumes. Verwenden Sie dazu in erster Linie die Felder der VM-Ressourcenrichtlinie (instances[].policy) oder das alternative Feld instances[].instanceTemplate. Optional können Sie auch die Felder instanceFlexibilityPolicy verwenden, wenn Sie mehrere Maschinentypen für einen Job zulassen möchten.

    Wenn Sie diese Felder nicht definieren (was beim Erstellen eines Jobs über dieGoogle Cloud -Konsole nicht möglich ist), versucht Batch automatisch, kompatible VMs auszuwählen, und fügt keine zusätzlichen Ressourcen hinzu.

Die Anzahl der VMs und die Anzahl der Aufgaben, die gleichzeitig auf jeder VM ausgeführt werden können, variieren für verschiedene Jobs je nach Aufgabenplanung und den von Ihnen angegebenen Hardwareanforderungen. Wenn Sie für die Aufgaben eines Jobs IN_ORDER angeben, hat der Job eine VM und es wird jeweils nur eine Aufgabe ausgeführt. Andernfalls, wenn die Aufgaben eines Jobs AS_SOON_AS_POSSIBLE ausgeführt werden, können Sie die Anzahl der VMs und die Anzahl der gleichzeitigen Aufgaben mit der folgenden Formel schätzen:

\[{vmsPerJob}=\frac{taskCount}{parallelTasksPerVm}\]

Diese Formel enthält die folgenden Werte:

  • \({vmsPerJob}\): die maximale Anzahl von VMs für einen Job. Die tatsächliche Anzahl der VMs, die für einen Job erstellt werden, kann geringer sein, z. B. wenn Batch davon ausgeht, dass es schneller ist, einen Job mit weniger Ressourcen auszuführen, als auf weitere Ressourcen zu warten. Dieser Wert ist auch durch die Limits für gleichzeitige VMs pro Job begrenzt.
  • \({taskCount}\): Die Gesamtzahl der Aufgaben für den Job, die Sie mit dem Feld „Anzahl der Aufgaben“ (taskCount) definieren.

  • \({parallelTasksPerVM}\): Die maximale Anzahl von Aufgaben, die gleichzeitig auf einer VM ausgeführt werden können.

    Dieser Wert wird anhand der folgenden Kriterien ermittelt:

    • Der Mindestwert beträgt 1 Aufgabe.

    • Der Höchstwert ist der kleinere Wert von 20 Aufgaben und, falls definiert, der Wert des Felds Maximale Anzahl paralleler Aufgaben pro Job (parallelism).

    • Wenn das Feld „Maximale Anzahl paralleler Aufgaben pro VM“ (taskCountPerNode) definiert ist, wird dieser Wert verwendet.

      Andernfalls, wenn taskCountPerNode nicht definiert ist, legt Batch einen Wert fest, indem die Gesamtzahl der Rechenressourcen – insbesondere vCPUs – pro VM durch die für jede Aufgabe erforderliche Menge geteilt wird:

      \[{parallelTasksPerVm}=\frac{vcpusPerVm}{vcpusPerTask}\]

      Diese Formel enthält die folgenden Werte:

      • \({vcpusPerVm}\): die Gesamtzahl der vCPUs pro VM, die vom Maschinentyp der VMs Ihres Jobs bestimmt wird.

      • \({vcpusPerTask}\): die Anzahl der vCPUs pro Aufgabe, die durch Umrechnung der Einheiten des Felds „vCPUs pro Aufgabe“ (cpuMilli) bestimmt wird.

Optionen für die Joberstellung

Im Leitfaden Einfachen Job erstellen und ausführen werden die Grundlagen erläutert, z. B. wie Sie ein ausführbares Element mit einem Script oder Container-Image definieren und vordefinierte und benutzerdefinierte Umgebungsvariablen konfigurieren.

Nachdem Sie die Grundlagen zum Erstellen von Jobs verstanden haben, können Sie einen Job erstellen, der eine oder mehrere der folgenden zusätzlichen Konfigurationsoptionen verwendet:

  • Zugriff für einen Job steuern:

    • Unter Zugriff für einen Job mit einem benutzerdefinierten Dienstkonto steuern wird beschrieben, wie Sie das Dienstkonto eines Jobs angeben. Dies wirkt sich auf die Ressourcen und Anwendungen aus, auf die die VMs eines Jobs zugreifen können. Wenn Sie kein benutzerdefiniertes Dienstkonto angeben, wird für Jobs standardmäßig das Compute Engine-Standarddienstkonto verwendet.

    • Netzwerkübersicht bietet einen Überblick darüber, wann und wie Sie die Netzwerkkonfiguration für einen Job anpassen können. Dazu gehört auch, das Netzwerk des Jobs anzugeben, externe Verbindungen zu blockieren und Daten und Ressourcen mit VPC Service Controls zu schützen.

    • Unter Vertrauliche Daten mit Secret Manager schützen wird beschrieben, wie Sie vertrauliche Daten wie benutzerdefinierte Umgebungsvariablen und Anmeldedaten sicher definieren, indem Sie Secret Manager-Secrets verwenden, um verschlüsselte Informationen beim Erstellen eines Jobs anzugeben.

  • Zusätzliche Optionen für einen Job konfigurieren:

    • Unter Aufgabenkommunikation mit einer MPI-Bibliothek konfigurieren wird beschrieben, wie Sie einen Job mit voneinander abhängigen Aufgaben konfigurieren, die über verschiedene VMs hinweg miteinander kommunizieren. Dazu wird eine MPI-Bibliothek (Message Passing Interface) verwendet. Ein häufiger Anwendungsfall für MPI sind eng gekoppelte HPC-Arbeitslasten (High Performance Computing, Hochleistungs-Computing).

    • Ressourcen anpassen, auf denen ein Job ausgeführt wird:

      • Unter Jobressourcen mit einer VM-Instanzvorlage definieren wird beschrieben, wie Sie eine Compute Engine-VM-Vorlage angeben, um die Ressourcen eines Jobs beim Erstellen eines Jobs zu definieren. Dies ist eine Alternative zur direkten Angabe der Ressourcen eines Jobs über das instances[].policy-Feld.

      • Unter GPUs für einen Job verwenden wird beschrieben, wie Sie einen Job definieren, der einen oder mehrere Grafikprozessoren (GPUs) verwendet. Häufige Anwendungsfälle für Jobs, die GPUs verwenden, sind intensive Datenverarbeitungs- oder ML-Arbeitslasten.

      • Unter Speichervolumes für einen Job verwenden wird beschrieben, wie Sie einen Job definieren, der auf ein oder mehrere externe Speichervolumes zugreifen kann. Zu den Speicheroptionen gehören neue oder vorhandene nichtflüchtige Speicher, neue lokale SSDs, vorhandene Cloud Storage-Buckets und ein vorhandenes Netzwerkdateisystem (NFS) wie eine Filestore-Dateifreigabe.

      • Übersicht über die VM-Betriebssystemumgebung: Hier finden Sie Informationen dazu, wann und wie Sie die VM-Betriebssystemumgebung für einen Job anpassen können, einschließlich des VM-Betriebssystem-Images und der Bootlaufwerke des Jobs.

    • Verschiedene Aspekte eines Jobs optimieren:

      • Monitoring und Analyse verbessern:

      • Unter Zeitplanabhängige Jobs (Vorschau) wird beschrieben, wie Sie einen Job angeben, der erst ausgeführt wird, wenn mindestens ein vorhandener Abhängigkeitsjob erfolgreich abgeschlossen oder fehlgeschlagen ist. Wenn Sie eine Arbeitslast mit unterschiedlichen Ressourcenanforderungen haben, können Sie Kosten und Kontingentnutzung senken, indem Sie die VM-Typen für Vorgänge mit geringer Nachfrage (z. B. Datenvorbereitung) und rechenintensive Vorgänge (z. B. Datenverarbeitung) trennen.

      • Unter Aufgabenwiederholungen automatisieren wird beschrieben, wie Sie die Wiederholung von Aufgaben eines Jobs nach allen oder bestimmten Fehlern automatisieren. Automatisierte Wiederholungsversuche können dazu beitragen, den Aufwand für die Fehlerbehebung und die Gesamtlaufzeit von Jobs mit vorübergehenden Fehlern zu reduzieren. Verwenden Sie beispielsweise automatische Wiederholungen für einen Job, der auf Spot-VMs ausgeführt wird. Diese bieten erhebliche Rabatte, sind aber möglicherweise nicht immer verfügbar und können jederzeit vorzeitig beendet werden.

      • Unter Laufzeiten mit Zeitlimits begrenzen wird beschrieben, wie Sie die Zeit begrenzen, die für die Ausführung einer Aufgabe oder eines Runnable zulässig ist. Wenn Sie übermäßige Laufzeiten verhindern, können Sie unerwartete Kosten und Verzögerungen reduzieren.

      • Verfügbarkeit von Ressourcen verbessern:

        • Unter Verfügbarkeit von Ressourcen verbessern wird erläutert, was Ressourcenverfügbarkeit ist, und es werden Empfehlungen gegeben, wie Sie die Verfügbarkeit beim Erstellen und Ausführen von Jobs verbessern können.

        • Im Artikel Ressourcenverfügbarkeit mit VM-Reservierungen sicherstellen wird beschrieben, wie Sie einen Job konfigurieren, der auf reservierten VMs ausgeführt werden kann. Durch die Verwendung reservierter VMs können Sie die Zeit bis zur Lieferplanung eines Jobs minimieren, Fehler bei der Ressourcenverfügbarkeit vermeiden und die Kosten optimieren.

        • Unter Verfügbarkeit durch Verwendung von Instanzflexibilität verbessern wird beschrieben, wie Sie zulassen, dass ein Job auf mehreren von Ihnen angegebenen und sortierbaren Maschinentypen ausgeführt wird. Die Verwendung von Instanzflexibilität kann dazu beitragen, die Parallelität zu erhöhen, das vorzeitige Beenden von Spot-VMs zu verzögern und Fehler bei der Ressourcenverfügbarkeit zu vermeiden.

      • Latenz reduzieren:

        • Unter VMs gemeinsam platzieren, um die Latenz zu reduzieren wird beschrieben, wie Sie die Netzwerklatenz zwischen den VMs eines Jobs reduzieren, indem Sie festlegen, dass sich die VMs physisch nahe beieinander befinden müssen. Dieser Leistungsvorteil kann besonders nützlich für Jobs sein, bei denen häufig Netzwerkkommunikation zwischen VMs stattfindet, z. B. für Aufgaben, bei denen MPI-Bibliotheken verwendet werden.

        • Unter Image-Streaming verwenden wird beschrieben, wie Sie die Startzeit von Jobs verbessern können, indem Sie Container-Images aus Artifact Registry streamen.

  • Zusätzliche Dienste zum Erstellen und Ausführen von Jobs:

Nächste Schritte