Dokumen ini merangkum cara membuat cluster untuk workload AI Anda di AI Hypercomputer. Secara khusus, dokumen ini memandu Anda melalui proses dan pilihan yang harus dibuat saat Anda memulai cluster. Sebagai alternatif untuk evaluasi manual, Anda dapat meminta Gemini di Google Cloud konsol untuk membandingkan opsi pemakaian untuk workload dan anggaran Anda. Untuk mengetahui informasi selengkapnya, lihat Mendesain infrastruktur AI dengan Compute Advisor.
Dokumen ini mengasumsikan bahwa Anda sudah memahami terminologi yang umum digunakan untuk workload AI dan ML, seperti pelatihan dan inferensi model. Dokumen ini juga mengasumsikan bahwa Anda telah mengidentifikasi workload AI tertentu yang memerlukan penentuan jenis mesin dan kebutuhan kapasitas yang optimal untuk deployment Anda—misalnya, pra-pelatihan, penyesuaian, atau inferensi model dasar.
Mulai cluster
Memulai cluster melibatkan langkah-langkah berikut:
- Menentukan workload dan memilih jenis mesin
- Memilih opsi pemakaian dan mendapatkan kapasitas
- Memilih opsi deployment
- Memilih orchestrator
- Memilih sistem operasi dan image cluster
- Membuat cluster Anda
- Menyediakan penyimpanan untuk workload Anda
Menentukan workload dan memilih jenis mesin
Pilih jenis mesin untuk workload AI Anda. AI Hypercomputer mendukung pembuatan cluster untuk GPU bercluster dan GPU umum.
Untuk membantu Anda memilih, tentukan persyaratan workload Anda dan cocokkan dengan jenis mesin dan jenis GPU yang direkomendasikan:
- GPU bercluster: paling cocok untuk workload berskala besar dan berperforma tinggi seperti model dasar pra-pelatihan, penyesuaian model besar, dan inferensi di beberapa host.
- GPU umum: paling cocok untuk inferensi dan penyajian mainstream, pembuatan yang diperluas pengambilan (RAG), serta pelatihan dan penyesuaian model kecil hingga menengah yang hemat biaya.
Untuk mencocokkan workload Anda dengan jenis mesin yang direkomendasikan, gunakan tabel ini:
| Jenis GPU | Workload atau kasus penggunaan | Jenis mesin yang direkomendasikan |
|---|---|---|
| GPU bercluster | Model dasar pra-pelatihan dan inferensi di beberapa host | A4X Max (NVIDIA GB300)*, A4X (NVIDIA GB200)* |
| Pelatihan, penyesuaian, dan inferensi model besar | A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141GB) | |
| Inferensi dan penyesuaian model mainstream | A3 Mega (NVIDIA H100 80GB), A3 High (NVIDIA H100 80GB) | |
| GPU umum | Inferensi dan penyajian edge dengan throughput tinggi | A3 Edge (NVIDIA H100 80GB) |
| Penyajian node tunggal berperforma tinggi dan penyesuaian skala kecil | A2 (NVIDIA A100) | |
| Inferensi tingkat awal yang dioptimalkan untuk biaya | G4 (NVIDIA RTX PRO 6000), N1 (NVIDIA T4 atau V100) | |
| Inferensi mainstream, RAG, dan pelatihan model kecil hingga menengah | G2 (NVIDIA L4) |
Untuk mengetahui informasi mendetail tentang setiap seri mesin, lihat Tentang akselerator GPU.
Memilih opsi pemakaian dan mendapatkan kapasitas
Pilih opsi pemakaian untuk resource GPU Anda berdasarkan jenis mesin yang dipilih dan apakah Anda menggunakan GPU Umum atau GPU Bercluster.
Opsi pemakaian untuk GPU umum
| Opsi pemakaian | Tersedia untuk | Paling cocok untuk | Cara meminta |
|---|---|---|---|
| Sesuai permintaan | Semua GPU umum. | Workload yang tidak memerlukan kapasitas terjamin. | Buat instance atau cluster komputasi dan tentukan model penyediaan standar. Untuk mengetahui petunjuknya, lihat Membuat instance VM. Tips: Untuk meningkatkan peluang Anda mendapatkan kapasitas GPU umum, gunakan Flex-start atau Spot. |
| Reservasi standar dan reservasi untuk masa mendatang standar | Semua GPU umum. | Workload yang memerlukan kapasitas terjamin, baik segera (reservasi standar) atau untuk tanggal tertentu di masa mendatang (reservasi untuk masa mendatang standar). | Buat reservasi sesuai permintaan atau permintaan reservasi untuk masa mendatang. Untuk mengetahui petunjuknya, lihat Memesan kapasitas. |
| Flex-start | Semua jenis mesin GPU kecuali A4X Max dan A4X. | Workload yang memerlukan cluster padat dan berumur singkat yang berlangsung hingga tujuh hari. Menawarkan alokasi resource padat dan diskon hingga 53% untuk jenis mesin yang didukung; jika tidak, tarif sesuai permintaan standar akan berlaku. | Buat permintaan menggunakan Compute Engine, Cluster Director, Cluster Toolkit, atau GKE. Resource disediakan segera setelah tersedia (waktu mulai tidak langsung). Untuk mengetahui petunjuknya, lihat Mendapatkan kapasitas. |
| Spot | Semua jenis mesin GPU kecuali A4X Max dan A4X. | Workload yang fault-tolerant, batch, atau berumur singkat. Menawarkan diskon terbesar (antara 61% dan 90%), tetapi resource komputasi dapat dihentikan kapan saja. | Buat instance atau node pool segera menggunakan model penyediaan Spot. Untuk mengetahui petunjuknya, lihat Mendapatkan kapasitas. |
Opsi pemakaian untuk GPU bercluster
| Opsi pemakaian | Tersedia untuk | Paling cocok untuk | Cara meminta |
|---|---|---|---|
| Reservasi untuk masa mendatang di AI Hypercomputer | Semua GPU bercluster dan jenis mesin A3 Edge. | Workload yang memerlukan stabilitas dalam jangka waktu yang lama, seperti model dasar pra-pelatihan atau inferensi model dasar di beberapa host. Menawarkan alokasi resource padat dan diskon hingga 53% untuk vCPU dan GPU. | Minta kapasitas melalui tim Akun Google Anda untuk tanggal dan waktu mulai di masa mendatang. |
| Reservasi untuk masa mendatang dalam mode kalender | Semua GPU bercluster kecuali A4X Max dan A4X. | Workload yang berjalan hingga 90 hari dan memerlukan stabilitas, seperti pra-pelatihan atau penyesuaian model. Menawarkan alokasi resource padat dan diskon hingga 53%. | Buat permintaan reservasi layanan mandiri untuk tanggal dan waktu di masa mendatang; Google Cloud harus menyetujui permintaan tersebut. Untuk mengetahui petunjuknya, lihat Memesan kapasitas. |
| Flex-start | Semua jenis mesin GPU kecuali A4X Max dan A4X. | Workload yang memerlukan cluster padat dan berumur singkat yang berlangsung hingga tujuh hari. Menawarkan alokasi resource padat dan diskon hingga 53% untuk jenis mesin yang didukung; jika tidak, tarif sesuai permintaan standar akan berlaku. | Buat permintaan menggunakan Compute Engine, Cluster Director, Cluster Toolkit, atau GKE. Resource disediakan segera setelah tersedia (waktu mulai tidak langsung). Untuk mengetahui petunjuknya, lihat Mendapatkan kapasitas. |
| Spot | Semua jenis mesin GPU kecuali A4X Max dan A4X. | Workload yang fault-tolerant, batch, atau berumur singkat. Menawarkan diskon terbesar (antara 61% dan 90%), tetapi resource komputasi dapat dihentikan kapan saja. | Buat instance atau node pool segera menggunakan model penyediaan Spot model. Untuk mengetahui petunjuknya, lihat Mendapatkan kapasitas. |
Memilih opsi deployment
Bergantung pada tingkat kontrol yang Anda perlukan atas deployment cluster, pilih salah satu opsi berikut:
- Deployment yang sangat dikelola: layanan terkelola mengotomatiskan penyiapan, orkestrasi, dan konfigurasi resource komputasi, jaringan, dan penyimpanan Anda.
- **Deployment yang kurang dikelola dan lebih terkontrol**: Anda membuat dan mengelola VM, lingkungan kustom, dan lapisan orkestrasi secara manual.
Sangat dikelola
Opsi deployment yang sangat dikelola mengotomatiskan penyiapan dan orkestrasi resource komputasi, jaringan, dan penyimpanan Anda, yang mengurangi overhead operasional pengelolaan cluster. Untuk men-deploy dan mengonfigurasi infrastruktur Anda, gunakan Cluster Director, Cluster Toolkit, atau GKE.
Cluster Director:Google Cloud produk yang mengotomatiskan penyiapan dan konfigurasi cluster yang kompleks, sehingga membantu Anda mengonfigurasi resource komputasi, jaringan, dan penyimpanan untuk cluster Anda guna memaksimalkan performa dan meminimalkan waktu non-operasional. Cluster Director dirancang untuk administrator IT dan peneliti AI yang ingin menghindari overhead pengelolaan cluster, dan berfokus pada menjalankan workload mereka.
Cluster Toolkit: alat open source yang ditawarkan oleh Google yang menyederhanakan konfigurasi dan deployment cluster untuk GKE atau Compute Engine. Anda menggunakan blueprint yang telah ditentukan untuk men-deploy konfigurasi umum, seperti jenis mesin A4 dengan Slurm. Anda dapat mengubah blueprint untuk menyesuaikan deployment dan software stack Anda.
GKE: layanan Kubernetes terkelola dan orkestrasi container open source platform. GKE menawarkan fitur seperti penskalaan otomatis dan ketersediaan tinggi. GKE juga dapat mengatur orkestrasi aplikasi dalam container, mendukung hardware khusus, dan kompatibel dengan Google Cloud ekosistem, sehingga cocok untuk men-deploy dan mengelola workload AI atau ML. Anda dapat men-deploy cluster GKE menggunakan GKE secara langsung atau menggunakan Cluster Toolkit.
Kurang dikelola, lebih terkontrol
Untuk kontrol yang lebih mendetail atas cluster dan software yang diinstal di cluster, buat cluster Compute Engine menggunakan grup instance terkelola (MIG) Compute Engine atau dengan membuat instance secara massal. Kemudian, instal software utama yang Anda butuhkan di instance secara manual.
Memilih orchestrator
Orchestrator mengotomatiskan pengelolaan cluster Anda. Dengan orchestrator, Anda tidak perlu mengelola setiap instance komputasi di cluster. Orchestrator, seperti Slurm atau GKE, menangani tugas seperti antrean tugas, alokasi resource, penskalaan otomatis (dalam kasus GKE), dan tugas pengelolaan cluster sehari-hari lainnya.
Slurm: Slurm adalah orchestrator open source yang umum digunakan untuk workload HPC, AI, atau ML. Untuk pengalaman Slurm terkelola, Anda dapat menggunakan Cluster Director. Untuk menggunakan Slurm secara native, Anda dapat menggunakan Cluster Toolkit (yang menawarkan blueprint cluster yang secara otomatis menginstal Slurm di cluster Anda), atau Anda dapat menginstal Slurm secara manual di cluster Compute Engine.
GKE: GKE adalah layanan terkelola yang dibangun di atas Kubernetes, platform orkestrasi container open source. GKE ideal untuk men-deploy dan mengelola workload AI atau ML, karena kemampuannya untuk mengatur orkestrasi aplikasi dalam container, dukungan hardware khusus, dan tempatnya di Google Cloud ekosistem. Anda dapat men-deploy cluster GKE menggunakan GKE secara langsung atau menggunakan Cluster Toolkit.
Bring your own orchestrator: untuk menggunakan orchestrator lain, gunakan cluster Compute Engine. Membuat cluster Compute Engine adalah opsi yang paling tidak dikelola yang ditawarkan di Google Cloud. Pilihan ini berarti Anda bertanggung jawab untuk menyiapkan, memelihara, dan memperbarui instance Anda.
Memilih image sistem operasi
Image yang harus Anda gunakan bergantung pada infrastruktur GPU yang Anda gunakan (GPU bercluster atau GPU umum) dan cara Anda berencana men-deploy cluster (GKE, Slurm, atau Compute Engine). Untuk cluster GKE, gunakan Container-Optimized OS. Untuk cluster Compute Engine dan Slurm, pilih image sistem operasi yang dioptimalkan untuk akselerator, seperti GPU. Selain itu, Anda dapat memilih image container Deep Learning Software Layer (DLSL) untuk workload Anda.
Untuk mengetahui informasi mendetail, tinjau image AI Hypercomputer.
Image untuk cluster GKE
Untuk membuat cluster GKE, gunakan image OS container default untuk mode Standar dan Autopilot. Namun, dalam mode Standar, Anda juga dapat memilih untuk menggunakan image lain yang tersedia, seperti Ubuntu.
Jika Anda menggunakan Cluster Toolkit untuk men-deploy cluster, Anda hanya dapat menggunakan image OS container, karena image ini adalah image yang dibuat ke dalam blueprint cluster. Untuk mengetahui informasi selengkapnya tentang setiap image node, lihat Image node dalam dokumentasi GKE.
GKE juga menawarkan image container Deep Learning Software Layer (DLSL) yang menginstal paket seperti NVIDIA CUDA dan NCCL, serta framework ML seperti PyTorch, yang menyediakan lingkungan siap pakai untuk workload deep learning. Image container DLSL yang telah dibuat sebelumnya ini diuji dan diverifikasi agar berfungsi dengan lancar di cluster GKE.
OS image untuk cluster Compute Engine
AI Hypercomputer menawarkan image yang dioptimalkan untuk menjalankan workload AI dan ML menggunakan Compute Engine. Pilih OS yang paling Anda kuasai:
- Akselerator Rocky Linux 9
- Akselerator Rocky Linux 8
- Akselerator Ubuntu 24.04 LTS
- Akselerator Ubuntu 22.04 LTS
Jika Anda menggunakan Cluster Toolkit, image akselerator ini sudah dibundel ke dalam blueprint Cluster Toolkit, karena Cluster Toolkit membuat image kustom yang memperluas OS image Akselerator Ubuntu LTS.
Untuk mengetahui informasi selengkapnya tentang setiap OS image, lihat Detail sistem operasi dalam dokumentasi Compute Engine.
Membuat cluster Anda
Setelah meninjau proses pembuatan cluster dan membuat keputusan awal untuk workload Anda, buat cluster menggunakan salah satu opsi berikut:
- Membuat cluster GKE:
- Membuat cluster Slurm:
- Membuat instance VM (tunggal, massal, atau MIG)
Menyediakan penyimpanan untuk workload Anda
Pilih layanan penyimpanan yang akan disediakan, berdasarkan persyaratan performa, biaya, dan arsitektur penyimpanan.