使用 GKE 上的多个 GPU 微调 Gemma 开放模型

获取对模型的访问权限

如需获取对 Gemma 模型的访问权限以便部署到 GKE，您必须先签署许可同意协议，然后生成 Huggging Face 访问令牌。

签署许可同意协议

您必须签署同意协议才能使用 Gemma。请按照以下说明操作：

1. 访问 Kaggle.com 上的模型同意页面。
2. 使用您的 Hugging Face 账号验证同意情况。
3. 接受模型条款。

生成一个访问令牌

如需通过 Hugging Face 访问模型，您需要 Hugging Face 令牌。

如果您还没有令牌，请按照以下步骤生成新令牌：

1. 点击您的个人资料 > 设置 > 访问令牌。
2. 选择新建令牌 (New Token)。
3. 指定您选择的名称和一个至少为 Write 的角色。
4. 选择生成令牌。
5. 将生成的令牌复制到剪贴板。

准备环境

在本教程中，您将使用 Cloud Shell 来管理Google Cloud上托管的资源。Cloud Shell 预安装有本教程所需的软件，包括 kubectl 和 gcloud CLI。

如需使用 Cloud Shell 设置您的环境，请按照以下步骤操作：

1. 在 Google Cloud 控制台中，点击 Google Cloud 控制台中的 激活 Cloud Shell 以启动 Cloud Shell 会话。此操作会在 Google Cloud 控制台的底部窗格中启动会话。

2. 设置默认环境变量：

   gcloud config set project PROJECT_ID
   export PROJECT_ID=$(gcloud config get project)
   export CONTROL_PLANE_LOCATION=CONTROL_PLANE_LOCATION
   export CLUSTER_NAME=CLUSTER_NAME
   export HF_TOKEN=HF_TOKEN
   export HF_PROFILE=HF_PROFILE
   

   替换以下值：

   • PROJECT_ID：您的 Google Cloud项目 ID。
   • CONTROL_PLANE_LOCATION：集群控制平面的 Compute Engine 区域。提供支持要使用的加速器类型的区域，例如适用于 L4 GPU 的 us-central1。
   • CLUSTER_NAME：您的集群的名称。
   • HF_TOKEN：您之前生成的 Hugging Face 令牌。
   • HF_PROFILE：您之前创建的 Hugging Face 个人资料 ID。

3. 从 GitHub 克隆示例代码库：

   git clone https://github.com/GoogleCloudPlatform/kubernetes-engine-samples
   cd kubernetes-engine-samples/ai-ml/llm-finetuning-gemma
   

创建和配置 Google Cloud 资源

请按照以下说明创建所需的资源。

创建 GKE 集群和节点池

您可以在 GKE Autopilot 或 Standard 集群中的 GPU 上应用 Gemma。如需选择最适合您的工作负载的 GKE 操作模式，请参阅选择 GKE 操作模式。

gcloud container clusters create-auto CLUSTER_NAME \
    --project=PROJECT_ID \
    --location=CONTROL_PLANE_LOCATION \
    --release-channel=rapid \
    --cluster-version=CLUSTER_VERSION

为 Hugging Face 凭证创建 Kubernetes Secret

在 Cloud Shell 中，执行以下操作：

1. 配置 kubectl 以与您的集群通信：

   gcloud container clusters get-credentials CLUSTER_NAME \
       --location=CONTROL_PLANE_LOCATION
   

   替换以下值：

   • CONTROL_PLANE_LOCATION：集群控制平面的 Compute Engine 区域。
   • CLUSTER_NAME：您的集群的名称。

2. 创建包含 Hugging Face 令牌的 Kubernetes Secret：

   kubectl create secret generic hf-secret \
       --from-literal=hf_api_token=$HF_TOKEN \
       --dry-run=client -o yaml | kubectl apply -f -
   

   将 $HF_TOKEN 替换为您之前生成的 Hugging Face 令牌，或者使用您设置的环境变量。

使用 Docker 和 Cloud Build 创建微调容器

此容器使用 PyTorch 和 Hugging Face Transformer 代码来微调现有的预训练 Gemma 模型。

1. 创建 Artifact Registry Docker 仓库：

   gcloud artifacts repositories create gemma \
       --project=PROJECT_ID \
       --repository-format=docker \
       --location=us \
       --description="Gemma Repo"
   

   将 PROJECT_ID 替换为您的 Google Cloud项目 ID。

2. 构建并推送映像：

   gcloud builds submit .
   

3. 导出 IMAGE_URL 以供稍后在本教程中使用。

   export IMAGE_URL=us-docker.pkg.dev/PROJECT_ID/gemma/finetune-gemma-gpu:1.0.0
   

在 GKE 上运行微调作业

在本部分中，您将部署 Gemma 微调作业。Kubernetes 中的 Job 控制器会创建一个或多个 Pod，并帮助确保它们成功执行特定任务。

1. 打开 finetune.yaml 文件。

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: finetune-job
     namespace: default
   spec:
     backoffLimit: 2
     template:
       metadata:
         annotations:
           kubectl.kubernetes.io/default-container: finetuner
       spec:
         terminationGracePeriodSeconds: 600
         containers:
         - name: finetuner
           image: $IMAGE_URL
           resources:
             limits:
               nvidia.com/gpu: "8"
           env:
           - name: MODEL_NAME
             value: "google/gemma-2b"
           - name: NEW_MODEL
             value: "gemma-2b-sql-finetuned"
           - name: LORA_R
             value: "8"
           - name: LORA_ALPHA
             value: "16"
           - name: TRAIN_BATCH_SIZE
             value: "1"
           - name: EVAL_BATCH_SIZE
             value: "2"
           - name: GRADIENT_ACCUMULATION_STEPS
             value: "2"
           - name: DATASET_LIMIT
             value: "1000"
           - name: MAX_SEQ_LENGTH
             value: "512"
           - name: LOGGING_STEPS
             value: "5"
           - name: HF_TOKEN
             valueFrom:
               secretKeyRef:
                 name: hf-secret
                 key: hf_api_token
           volumeMounts:
           - mountPath: /dev/shm
             name: dshm
         volumes:
         - name: dshm
           emptyDir:
             medium: Memory
         nodeSelector:
           cloud.google.com/gke-accelerator: nvidia-l4
         restartPolicy: OnFailure

2. 应用清单以创建微调作业：

   envsubst < finetune.yaml | kubectl apply -f -
   

   此指令会将 IMAGE_URL 替换为清单中的变量。

3. 通过运行以下命令来监控作业：

   watch kubectl get pods
   

4. 通过运行以下命令来检查作业的日志：

   kubectl logs job.batch/finetune-job -f
   

   作业资源会下载模型数据，然后在所有 8 个 GPU 上对模型进行微调。此过程最多可能需要 20 分钟才能完成。

5. 作业完成后，请访问您的 Hugging Face 账号。您的 Hugging Face 个人资料中会显示一个名为 HF_PROFILE/gemma-2b-sql-finetuned 的新模型。

在 GKE 上应用经过微调的模型

在本部分中，您将部署 vLLM 容器以应用 Gemma 模型。 本教程使用 Kubernetes Deployment 来部署 vLLM 容器。Deployment 是一个 Kubernetes API 对象，可让您运行在集群节点中分布的多个 Pod 副本。

1. 创建以下 serve-gemma.yaml 清单：

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: vllm-gemma-deployment
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: gemma-server
     template:
       metadata:
         labels:
           app: gemma-server
           ai.gke.io/model: gemma-2b
           ai.gke.io/inference-server: vllm
           examples.ai.gke.io/source: user-guide
       spec:
         containers:
         - name: inference-server
           image: docker.io/vllm/vllm-openai:v0.10.0
           resources:
             requests:
               cpu: "2"
               memory: "7Gi"
               ephemeral-storage: "10Gi"
               nvidia.com/gpu: 1
             limits:
               cpu: "2"
               memory: "7Gi"
               ephemeral-storage: "10Gi"
               nvidia.com/gpu: 1
           command: ["python3", "-m", "vllm.entrypoints.openai.api_server"]
           args:
           - --model=$(MODEL_ID)
           - --tensor-parallel-size=1
           env:
           - name: LD_LIBRARY_PATH
             value: ${LD_LIBRARY_PATH}:/usr/local/nvidia/lib64
           - name: MODEL_ID
             value: google/gemma-2b
           - name: HUGGING_FACE_HUB_TOKEN
             valueFrom:
               secretKeyRef:
                 name: hf-secret
                 key: hf_api_token
           volumeMounts:
           - mountPath: /dev/shm
             name: dshm
         volumes:
         - name: dshm
           emptyDir:
               medium: Memory
         nodeSelector:
           cloud.google.com/gke-accelerator: nvidia-l4
   ---
   apiVersion: v1
   kind: Service
   metadata:
     name: llm-service
   spec:
     selector:
       app: gemma-server
     type: ClusterIP
     ports:
       - protocol: TCP
         port: 8000
         targetPort: 8000

2. 为新的 MODEL_ID 创建环境变量：

   export MODEL_ID=HF_PROFILE/gemma-2b-sql-finetuned
   

   将 HF_PROFILE 替换为您之前创建的 Hugging Face 个人资料 ID。

3. 替换清单中的 MODEL_ID：

   sed -i "s|google/gemma-2b|$MODEL_ID|g" serve-gemma.yaml
   

4. 应用清单：

   kubectl apply -f serve-gemma.yaml
   

   集群中的 Pod 会从 Hugging Face 下载模型权重并启动服务引擎。

5. 等待部署成为可用状态：

   kubectl wait --for=condition=Available --timeout=700s deployment/vllm-gemma-deployment
   

6. 查看正在运行的部署的日志：

   kubectl logs -f -l app=gemma-server
   

部署资源会下载模型数据。此过程可能需要几分钟的时间。输出类似于以下内容：

INFO 01-26 19:02:54 model_runner.py:689] Graph capturing finished in 4 secs.
INFO:     Started server process [1]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)

确保模型已完全下载，然后再继续下一部分。

应用模型

在本部分中，您将与模型互动。

设置端口转发

部署模型后，运行以下命令以设置到模型的端口转发：

kubectl port-forward service/llm-service 8000:8000

输出类似于以下内容：

Forwarding from 127.0.0.1:8000 -> 8000

使用 curl 与模型互动

在新的终端会话中，使用 curl 与模型聊天：

以下示例命令适用于 TGI：

USER_PROMPT="Question: What is the total number of attendees with age over 30 at kubecon eu? Context: CREATE TABLE attendees (name VARCHAR, age INTEGER, kubecon VARCHAR)"

curl -X POST http://localhost:8000/generate \
  -H "Content-Type: application/json" \
  -d @- <<EOF
{
    "prompt": "${USER_PROMPT}",
    "temperature": 0.1,
    "top_p": 1.0,
    "max_tokens": 24
}
EOF

以下输出显示了模型响应的示例：

{"generated_text":" Answer: SELECT COUNT(age) FROM attendees WHERE age > 30 AND kubecon = 'eu'\n"}

根据您的查询，您可能需要更改 max_token 以获得更好的结果。您还可以使用指令调优模型，以获得更出色的聊天体验。