KI-Infrastruktur planen und erstellen

In diesem Dokument wird zusammengefasst, wie Sie einen Cluster für Ihre KI-Arbeitslasten auf AI Hypercomputer erstellen. Außerdem werden Sie durch den Prozess geführt und erhalten Informationen zu den Entscheidungen, die Sie beim Starten eines Clusters treffen müssen. Alternativ zu manuellen Bewertung können Sie Gemini in der Google Cloud Console auffordern, die Nutzungsoptionen für Ihre Arbeitslast und Ihr Budget zu vergleichen. Weitere Informationen finden Sie unter siehe KI-Infrastruktur mit Compute Advisor entwerfen.

In diesem Dokument wird davon ausgegangen, dass Sie mit der gängigen Terminologie für KI- und ML-Arbeitslasten wie Modelltraining und Inferenz vertraut sind. Außerdem wird davon ausgegangen, dass Sie die spezifische KI-Arbeitslast identifiziert haben, für die Sie den optimalen Maschinentyp und die Kapazitätsanforderungen für Ihre Bereitstellung ermitteln müssen, z. B. Vortraining, Feinabstimmung oder Inferenz von Foundation Models.

Cluster starten

Das Starten eines Clusters umfasst die folgenden Schritte:

  1. Arbeitslast ermitteln und Maschinentyp auswählen
  2. Nutzungsoption auswählen und Kapazität abrufen
  3. Bereitstellungsoption auswählen
  4. Orchestrator auswählen
  5. Betriebssystem- und Cluster-Image auswählen
  6. Cluster erstellen
  7. Speicher für Ihre Arbeitslast bereitstellen

Arbeitslast ermitteln und Maschinentyp auswählen

Wählen Sie einen Maschinentyp für Ihre KI-Arbeitslast aus. AI Hypercomputer unterstützt die Clustererstellung für Cluster-GPUs und allgemeine GPUs.

Um Ihnen die Auswahl zu erleichtern, ermitteln Sie die Anforderungen Ihrer Arbeitslast und gleichen Sie sie mit dem empfohlenen Maschinentyp und GPU-Typ ab:

  • Cluster-GPUs: am besten für umfangreiche, leistungsstarke Arbeitslasten wie das Vortraining von Foundation Models, die Feinabstimmung großer Modelle und die Inferenz auf mehreren Hosts.
  • Allgemeine GPUs: am besten für Mainstream-Inferenz und ‑Bereitstellung, Retrieval-Augmented Generation (RAG) sowie kostengünstiges Training und Feinabstimmung von kleinen bis mittelgroßen Modellen.

In dieser Tabelle finden Sie den empfohlenen Maschinentyp für Ihre Arbeitslast:

GPU-Typ Arbeitslast oder Anwendungsfall Empfohlene Maschinentypen
Cluster-GPU Vortraining von Foundation Models und Inferenz auf mehreren Hosts A4X Max (NVIDIA GB300)*, A4X (NVIDIA GB200)*
Training, Feinabstimmung und Inferenz großer Modelle A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141GB)
Mainstream-Modellinferenz und ‑Feinabstimmung A3 Mega (NVIDIA H100 80GB), A3 High (NVIDIA H100 80GB)
Allgemeine GPU Edge-Bereitstellung und ‑Inferenz mit hohem Durchsatz A3 Edge (NVIDIA H100 80GB)
Leistungsstarke Einzelknotenbereitstellung und Feinabstimmung in kleinem Maßstab A2 (NVIDIA A100)
Kostenoptimierte Inferenz der Einstiegsklasse G4 (NVIDIA RTX PRO 6000), N1 (NVIDIA T4 oder V100)
Mainstream-Inferenz, RAG und Training von kleinen bis mittelgroßen Modellen G2 (NVIDIA L4)

Ausführliche Informationen zu den einzelnen Maschinenserien finden Sie unter GPU Beschleuniger.

Nutzungsoption auswählen und Kapazität abrufen

Wählen Sie eine Nutzungsoption für Ihre GPU-Ressourcen basierend auf dem ausgewählten Maschinentyp und darauf, ob Sie allgemeine GPUs oder Cluster-GPUs verwenden.

Nutzungsoptionen für allgemeine GPUs

Nutzungsoption Verfügbar für Optimal für Art der Beantragung
On demand Alle allgemeinen GPUs. Arbeitslasten, die keine zugesicherte Kapazität erfordern. Erstellen Sie eine Compute-Instanz oder einen Cluster und geben Sie das Standardbereitstellungsmodell an. Eine Anleitung finden Sie unter VM-Instanzen erstellen.

Tipp: Wenn Sie Ihre Chancen auf allgemeine GPU-Kapazität erhöhen möchten, verwenden Sie Flex-Start oder Spot.
Standardreservierungen und vorausschauende Standardreservierungen Alle allgemeinen GPUs. Arbeitslasten, die sofort (Standardreservierungen) oder zu einem bestimmten zukünftigen Datum (vorausschauende Standardreservierungen) eine zugesicherte Kapazität erfordern. Erstellen Sie eine On-Demand-Reservierung oder eine Anfrage für eine vorausschauende Reservierung. Eine Anleitung finden Sie unter Kapazität reservieren.
Flex-Start Alle GPU-Maschinentypen außer A4X Max und A4X. Arbeitslasten, die kurzlebige, dichte Cluster erfordern, die bis zu sieben Tage dauern. Bietet eine dichte Ressourcenzuweisung und einen Rabatt von bis zu 53% auf unterstützte Maschinentypen. Andernfalls gelten die Standard-On-Demand-Preise. Erstellen Sie eine Anfrage mit Compute Engine, Cluster Director, Cluster Toolkit oder GKE. Ressourcen werden bereitgestellt, sobald sie verfügbar sind (die Startzeit ist nicht sofort). Eine Anleitung finden Sie unter Kapazität abrufen.
Spot Alle GPU-Maschinentypen außer A4X Max und A4X. Arbeitslasten, die fehlertolerant, Batch- oder kurzlebig sind. Bietet den höchsten Rabatt (zwischen 61% und 90%), aber Compute-Ressourcen können jederzeit vorzeitig beendet werden. Erstellen Sie sofort Instanzen oder Knotenpools mit dem Spot-Bereitstellungsmodell. Eine Anleitung finden Sie unter Kapazität abrufen.

Nutzungsoptionen für Cluster-GPUs

Nutzungsoption Verfügbar für Optimal für Art der Beantragung
Vorausschauende Reservierungen in AI Hypercomputer Alle Cluster-GPUs und A3 Edge-Maschinentypen. Arbeitslasten, die über einen längeren Zeitraum Stabilität erfordern, z. B. das Vortraining von Foundation Models oder die Inferenz von Foundation Models auf mehreren Hosts. Bietet eine dichte Ressourcenzuweisung und einen Rabatt von bis zu 53% für vCPUs und GPUs. Fordern Sie über Ihr Google-Account-Management-Team Kapazität für ein zukünftiges Startdatum und eine zukünftige Startzeit an.
Vorausschauende Reservierungen im Kalendermodus Alle Cluster-GPUs außer A4X Max und A4X. Arbeitslasten, die bis zu 90 Tage ausgeführt werden und Stabilität erfordern, z. B. das Vortraining oder die Feinabstimmung von Modellen. Bietet eine dichte Ressourcenzuweisung und einen Rabatt von bis zu 53 %. Erstellen Sie eine Self-Service-Reservierungsanfrage für ein zukünftiges Datum und eine zukünftige Uhrzeit. Google Cloud Sie müssen die Anfrage genehmigen. Eine Anleitung finden Sie unter Kapazität reservieren.
Flex-Start Alle GPU-Maschinentypen außer A4X Max und A4X. Arbeitslasten, die kurzlebige, dichte Cluster erfordern, die bis zu sieben Tage dauern. Bietet eine dichte Ressourcenzuweisung und einen Rabatt von bis zu 53% auf unterstützte Maschinentypen. Andernfalls gelten die Standard-On-Demand-Preise. Erstellen Sie eine Anfrage mit Compute Engine, Cluster Director, Cluster Toolkit oder GKE. Ressourcen werden bereitgestellt sobald sie verfügbar sind (die Startzeit ist nicht sofort). Eine Anleitung finden Sie unter Kapazität abrufen.
Spot Alle GPU-Maschinentypen außer A4X Max und A4X. Arbeitslasten, die fehlertolerant, Batch- oder kurzlebig sind. Bietet den höchsten Rabatt (zwischen 61% und 90%), aber Compute-Ressourcen können jederzeit vorzeitig beendet werden. Erstellen Sie sofort Instanzen oder Knotenpools mit dem Spot-Bereitstellungs modell. Eine Anleitung finden Sie unter Kapazität abrufen.

Bereitstellungsoption auswählen

Je nachdem, wie viel Kontrolle Sie über die Clusterbereitstellung benötigen, haben Sie folgende Optionen:

Hoher Verwaltungsaufwand

Bereitstellungsoptionen mit hohem Verwaltungsaufwand automatisieren die Einrichtung und Orchestrierung Ihrer Compute-, Netzwerk- und Speicherressourcen. Dadurch wird der Betriebsaufwand für die Clusterverwaltung reduziert. Verwenden Sie Cluster Director, Cluster Toolkit oder GKE, um Ihre Infrastruktur bereitzustellen und zu konfigurieren.

  • Cluster Director: Ein Google Cloud Produkt, das die komplexe Einrichtung und Konfiguration von Clustern automatisiert. So können Sie Compute-, Netzwerk- und Speicherressourcen für Ihre Cluster konfigurieren, um die Leistung zu maximieren und Ausfallzeiten zu minimieren. Cluster Director wurde für IT-Administratoren und KI-Forscher entwickelt, die den Aufwand für die Verwaltung eines Clusters vermeiden und sich stattdessen auf die Ausführung ihrer Arbeitslasten konzentrieren möchten.

  • **Cluster Toolkit**: an open source tool offered by Google that simplifies cluster configuration and deployment for GKE or Compute Engine. Sie verwenden vordefinierte Blueprints, um gängige Konfigurationen wie A4-Maschinentypen mit Slurm bereitzustellen. Sie können Blueprints ändern, um Bereitstellungen und Ihren Softwarestack anzupassen.

  • GKE: Ein verwalteter Kubernetes-Dienst und eine Open-Source-Plattform zur Containerorchestrierung. GKE bietet Funktionen wie Autoscaling und hohe Verfügbarkeit. Außerdem können containerisierte Anwendungen orchestriert werden, spezielle Hardware unterstützt werden und die Plattform ist mit dem Google Cloud Ökosystem kompatibel und eignet sich daher gut für die Bereitstellung und Verwaltung von KI- oder ML Arbeitslasten. Sie können GKE-Cluster direkt mit GKE oder mit Cluster Toolkit bereitstellen.

Weniger Verwaltungsaufwand, mehr Kontrolle

Wenn Sie mehr Kontrolle über Ihre Cluster und die darauf installierte Software haben möchten, erstellen Sie einen Compute Engine-Cluster mit verwalteten Instanzgruppen (Managed Instance Groups, MIGs) oder erstellen Sie Instanzen im Bulk. Installieren Sie dann alle wichtigen Software manuell auf den Instanzen.

Orchestrator auswählen

Ein Orchestrator automatisiert die Verwaltung Ihrer Cluster. Mit einem Orchestrator müssen Sie nicht jede Compute-Instanz im Cluster verwalten. Ein Orchestrator wie Slurm oder GKE übernimmt Aufgaben wie die Jobwarteschlange, die Ressourcenzuweisung, das Autoscaling (im Fall von GKE) und andere alltägliche Clusterverwaltungsaufgaben.

  • Slurm: Slurm ist ein Open-Source-Orchestrator, der häufig für HPC-, KI-, oder ML-Arbeitslasten verwendet wird. Wenn Sie eine verwaltete Slurm-Umgebung verwenden möchten, können Sie Cluster Director verwenden. Wenn Sie Slurm nativ verwenden möchten, können Sie Cluster Toolkit verwenden (das Cluster-Blueprints bietet, die Slurm automatisch auf Ihren Clustern installieren) oder Slurm manuell auf einem Compute Engine-Cluster installieren.

  • GKE: GKE ist ein verwalteter Dienst, der auf Kubernetes basiert, einer Open-Source-Plattform zur Containerorchestrierung. GKE eignet sich ideal für die Bereitstellung und Verwaltung von KI- oder ML-Arbeitslasten, da containerisierte Anwendungen orchestriert und spezielle Hardware unterstützt werden kann und die Plattform Teil des Google Cloud Ökosystems ist. Sie können GKE-Cluster direkt mit GKE oder mit Cluster Toolkit bereitstellen.

  • Eigenen Orchestrator verwenden: Wenn Sie andere Orchestratoren verwenden möchten, verwenden Sie Compute Engine-Cluster. Das Erstellen eines Compute Engine-Clusters ist die Option mit dem geringsten Verwaltungsaufwand Google Cloud. Das bedeutet, dass Sie für die Einrichtung, Wartung und Aktualisierung Ihrer Instanzen verantwortlich sind.

Systemimage auswählen

Welches Image Sie verwenden sollten, hängt davon ab, welche GPU-Infrastruktur Sie verwenden (Cluster-GPUs oder allgemeine GPUs) und wie Sie Ihre Cluster bereitstellen möchten (GKE, Slurm oder Compute Engine). Verwenden Sie für GKE-Cluster Container-Optimized OS. Wählen Sie für Compute Engine- und Slurm-Cluster ein Betriebssystem-Image aus, das für Beschleuniger wie GPUs optimiert ist. Außerdem können Sie ein DLSL-Container-Image (Deep Learning Software Layer) für Ihre Arbeitslast auswählen.

Ausführliche Informationen finden Sie unter AI Hypercomputer Images.

Images für GKE-Cluster

Verwenden Sie zum Erstellen von GKE-Clustern die Standard-Container-Betriebssystem-Images für den Standard- und den Autopilot-Modus. Im Standardmodus können Sie jedoch auch andere verfügbare Images wie Ubuntu verwenden.

Wenn Sie Cluster Toolkit zum Bereitstellen Ihres Clusters verwenden, können Sie nur Container-Betriebssystem-Images verwenden, da diese in die Cluster-Blueprints integriert sind. Weitere Informationen zu den einzelnen Knoten-Images finden Sie in der GKE Dokumentation unter Knoten Images.

GKE bietet auch DLSL-Container-Images (Deep Learning Software Layer), die Pakete wie NVIDIA CUDA und NCCL sowie ML-Frameworks wie PyTorch installieren und so eine sofort einsatzbereite Umgebung für Deep-Learning-Arbeitslasten bieten. Diese vorgefertigten DLSL-Container-Images wurden getestet und verifiziert, um nahtlos auf GKE-Clustern zu funktionieren.

Betriebssystem-Images für Compute Engine-Cluster

AI Hypercomputer bietet Images, die für die Ausführung von KI- und ML-Arbeitslasten mit Compute Engine optimiert sind. Wählen Sie das Betriebssystem aus, mit dem Sie am besten vertraut sind:

  • Rocky Linux 9-Beschleuniger
  • Rocky Linux 8-Beschleuniger
  • Ubuntu 24.04 LTS-Beschleuniger
  • Ubuntu 22.04 LTS-Beschleuniger

Wenn Sie Cluster Toolkit verwenden, sind diese Beschleuniger-Images bereits in Cluster Toolkit-Blueprints enthalten, da Cluster Toolkit benutzerdefinierte Images erstellt, die die Ubuntu LTS-Beschleuniger-Betriebssystem-Images erweitern.

Weitere Informationen zu den einzelnen Betriebssystem-Images finden Sie in der Compute Engine-Dokumentation unter Details zu Betriebssystemen.

Cluster erstellen

Nachdem Sie den Clustererstellungsprozess geprüft und vorläufige Entscheidungen für Ihre Arbeitslast getroffen haben, erstellen Sie Ihren Cluster mit einer der folgenden Optionen:

Speicher für Ihre Arbeitslast bereitstellen

Wählen Sie einen Speicherdienst aus, der basierend auf den Anforderungen an Leistung, Kosten und Speicherarchitektur bereitgestellt werden soll.