自訂節點系統設定

本文將說明如何使用稱為「節點系統設定」的設定檔，自訂 Google Kubernetes Engine (GKE) 節點設定。

節點系統設定是設定檔，可調整一組有限的系統設定。在節點集區中，您可以使用節點系統設定，為 kubelet Kubernetes 節點代理程式和 sysctl 低階 Linux 核心設定指定自訂設定。

本文詳細說明節點系統設定的可用設定，以及如何將這些設定套用至 GKE Standard 節點集區。請注意，由於 GKE Autopilot 叢集的節點環境代管程度較高，因此與 GKE Standard 節點集區相比，直接節點系統設定選項有限。

使用節點系統設定的好處

節點系統設定有下列好處：

• 效能調整：針對 AI 訓練/服務、資料庫、高流量網站伺服器或延遲時間敏感型服務等高負載應用程式，最佳化網路堆疊效能、記憶體管理、CPU 排程或 I/O 行為。
• 安全性強化：套用特定核心層級安全設定或限制特定系統行為，以縮減攻擊面。
• 資源管理：微調 kubelet 管理 PID、磁碟空間、映像檔垃圾回收，或 CPU 和記憶體資源的方式。
• 工作負載相容性：確保節點環境符合特定先決條件，適用於需要特定核心設定的專業軟體或舊版應用程式。

自訂節點設定的其他選項

您也可以使用其他方法自訂節點設定：

• 執行階段設定檔：如要在 GKE 節點上自訂 containerd 容器執行階段，可以使用名為「執行階段設定檔」的不同檔案。詳情請參閱「在 GKE 節點中自訂 containerd 設定」。
• ComputeClass：您可以在 GKE ComputeClass 規格中指定節點屬性。在 GKE 1.32.1-gke.1729000 以上版本中，您可以在 GKE Autopilot 模式和標準模式下使用 ComputeClasses。詳情請參閱「自訂節點系統設定」。
• DaemonSets：您也可以使用 DaemonSet 自訂節點。詳情請參閱「使用 DaemonSet 自動啟動 GKE 節點」。

Windows Server 節點不支援節點系統設定。

事前準備

開始前，請務必完成下列操作：

• 安裝指令列工具：
  • 如果您使用本文中的 gcloud CLI 範例，請務必安裝及設定 Google Cloud CLI。
  • 如果您使用 Terraform 範例，請務必安裝及設定 Terraform。
• 授予權限：您需要適當的 IAM 權限，才能建立及更新 GKE 叢集和節點集區，例如 container.clusterAdmin 或具有同等權限的其他角色。
• 規劃潛在的工作負載中斷：自訂節點設定會在節點集區層級套用。變更通常會觸發集區中節點的滾動式更新，包括重新建立節點。規劃工作負載可能發生的中斷情形，並視情況使用 Pod 中斷預算 (PDB)。
• 備份並測試所有變更：請務必先在預先發布或開發環境中測試設定變更，再套用至正式環境。設定錯誤可能會導致節點不穩定或工作負載失敗。
• 查看 GKE 預設設定：GKE 節點映像檔已預先設定最佳化設定。請只在有明確需求時自訂參數，並瞭解變更帶來的影響。

新增節點系統設定

您可以透過 ComputeClass 或設定檔，自訂節點系統設定。

使用 ComputeClass 設定節點系統

您可以使用自訂 ComputeClass，自訂 kubelet 和 Linux 核心中的特定參數。這個方法適用於 GKE 1.32.1-gke.1729000 以上版本。

如要使用 ComputeClass 自訂節點系統設定，請按照下列步驟操作：

1. 建立包含 spec.nodePoolAutoCreation.enabled: true 欄位值配對的 ComputeClass，並在 priorityDefaults 欄位中指定系統設定。
2. 部署選取 ComputeClass 的工作負載。

建立 ComputeClass

以 YAML 格式編寫 ComputeClass 設定。在 priorityDefaults 規格中使用 nodeSystemConfig 欄位，設定所有優先順序的系統設定。

以下範例會ComputeClass設定靜態 CPU 管理器政策和自訂核心參數：

apiVersion: cloud.google.com/v1
kind: ComputeClass
metadata:
  name: custom-sysconfig
spec:
  nodePoolAutoCreation:
    enabled: true
  priorityDefaults:
    nodeSystemConfig:
      kubeletConfig:
        cpuManagerPolicy: static
      linuxNodeConfig:
        sysctls:
          net.core.somaxconn: 2048
  priorities:
  - machineFamily: n4

套用 ComputeClass：

kubectl apply -f custom-sysconfig.yaml

部署選取 ComputeClass 的工作負載

在 Pod 規格中，為 ComputeClass 名稱新增節點選取器：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: my-app
spec:
  replicas: 2
  selector:
    matchLabels:
      app: my-app
  template:
    metadata:
      labels:
        app: my-app
    spec:
      nodeSelector:
        cloud.google.com/compute-class: custom-sysconfig
      containers:
      - name: app-container
        image: nginx

套用工作負載：

kubectl apply -f my-app.yaml

詳情請參閱「自訂節點系統設定」。

使用設定檔進行節點系統設定

使用節點系統設定檔時，您會使用 YAML 檔案，其中包含 kubelet 和 Linux 核心的設定參數。雖然 GKE Autopilot 模式也提供節點系統設定，但本文中的步驟會說明如何為 GKE Standard 模式建立及使用設定檔。

如要在 GKE Standard 模式中使用節點系統設定檔，請按照下列步驟操作：

1. 建立設定檔。這個檔案包含 kubelet 和 sysctl 設定。
2. 建立叢集時，或建立/更新節點集區時，新增設定。

建立設定檔

以 YAML 格式編寫節點系統設定。以下範例會為 kubelet 和 sysctl 選項新增設定：

kubeletConfig:
  cpuManagerPolicy: static
  allowedUnsafeSysctls:
    - 'kernel.shm*'
    - 'kernel.msg*'
    - 'kernel.sem'
    - 'fs.mqueue.*'
    - 'net.*'
linuxConfig:
  sysctl:
    net.core.somaxconn: '2048'
    net.ipv4.tcp_rmem: '4096 87380 6291456'

在本範例中，適用下列情況：

• cpuManagerPolicy: static 欄位會設定 kubelet，以使用靜態 CPU 管理政策。
• net.core.somaxconn: '2048' 欄位會將 socket listen() 後備緩衝區限制為 2,048 個位元組。
• net.ipv4.tcp_rmem: '4096 87380 6291456' 欄位會將 TCP 通訊端接收緩衝區的最小值、預設值和最大值，分別設為 4,096 個位元組、87,380 個位元組和 6,291,456 個位元組。

如要只為 kubelet 或 sysctl 新增設定，請只在節點系統設定中加入該部分。舉例來說，如要新增 kubelet 設定，請建立下列檔案：

kubeletConfig:
  cpuManagerPolicy: static

如需可新增至節點系統設定的完整欄位清單，請參閱「Kubelet 設定選項」和「Sysctl 設定選項」一節。

將設定新增至 Standard 節點集區

建立節點系統設定後，請使用 Google Cloud CLI 新增 --system-config-from-file 旗標。您可以在建立叢集，或建立/更新節點集區時新增這個標記。您無法使用 Google Cloud 控制台新增節點系統設定。

建立具有節點系統設定的叢集

使用 gcloud CLI 或 Terraform 建立叢集時，可以新增節點系統設定。下列操作說明會將節點系統設定套用至預設節點集區：

gcloud container clusters create CLUSTER_NAME \
    --location=LOCATION \
    --system-config-from-file=SYSTEM_CONFIG_PATH

resource "google_container_cluster" "default" {
  name     = "gke-standard-regional-cluster"
  location = "us-central1"

  initial_node_count = 1

  node_config {
    # Kubelet configuration
    kubelet_config {
      cpu_manager_policy = "static"
    }

    linux_node_config {
      # Sysctl configuration
      sysctls = {
        "net.core.netdev_max_backlog" = "10000"
      }

      # Linux cgroup mode configuration
      cgroup_mode = "CGROUP_MODE_V2"

      # Linux huge page configuration
      hugepages_config {
        hugepage_size_2m = "1024"
      }
    }
  }
}

使用節點系統設定建立新的節點集區

使用 gcloud CLI 或 Terraform 建立新節點集區時，可以新增節點系統設定。

下列操作說明會將節點系統設定套用至新的節點集區：

gcloud container node-pools create POOL_NAME \
     --cluster CLUSTER_NAME \
     --location=LOCATION \
     --system-config-from-file=SYSTEM_CONFIG_PATH

resource "google_container_node_pool" "default" {
  name    = "gke-standard-regional-node-pool"
  cluster = google_container_cluster.default.name

  node_config {
    # Kubelet configuration
    kubelet_config {
      cpu_manager_policy = "static"
    }

    linux_node_config {
      # Sysctl configuration
      sysctls = {
        "net.core.netdev_max_backlog" = "10000"
      }

      # Linux cgroup mode configuration
      cgroup_mode = "CGROUP_MODE_V2"

      # Linux huge page configuration
      hugepages_config {
        hugepage_size_2m = "1024"
      }
    }
  }
}

更新現有節點集區的節點系統設定

您可以為現有節點集區設定或更新節點系統設定。如要進一步瞭解如何更新現有設定，請參閱「透過更新現有節點集區進行編輯」。

執行下列指令，更新現有節點集區：

   gcloud container node-pools update POOL_NAME \
      --cluster=CLUSTER_NAME \
      --location=LOCATION \
      --system-config-from-file=SYSTEM_CONFIG_PATH

更改下列內容：

• POOL_NAME：要更新的節點集區名稱
• CLUSTER_NAME：要更新的叢集名稱
• LOCATION：叢集的運算可用區或區域
• SYSTEM_CONFIG_PATH：包含 kubelet 和 sysctl 設定的檔案路徑

這項變更需要重新建立節點，可能會導致執行中的工作負載中斷。如要進一步瞭解這項特定變更，請在「手動變更，使用節點升級策略重新建立節點，但不遵守維護政策」表格中找到對應的資料列。

如要進一步瞭解節點更新，請參閱「規劃節點更新中斷情形」。

編輯節點系統設定

您可以視使用 ComputeClasses 或設定檔而定，編輯節點系統設定。

適用於 ComputeClasses

使用 ComputeClasses 時，如要編輯節點系統設定，請選擇下列其中一種方法：

方法 1：更新現有的 ComputeClass

如果您更新現有 ComputeClass 中的 nodeSystemConfig，GKE 只會將更新後的設定套用至新建立的節點。現有節點不會自動更新。

如要將工作負載遷移至採用新設定的節點，請執行下列其中一項操作：

• 在 ComputeClass 中設定即時遷移。
• 如要觸發新節點的擴充作業，請手動重新啟動或重新建立工作負載。

如要更新 ComputeClass，請編輯 YAML 檔案並套用：

kubectl apply -f custom-sysconfig.yaml

方法 2：建立新的 ComputeClass

為確保工作負載遷移至使用更新設定的新節點，請按照下列步驟操作：

1. 使用不同名稱和更新的設定建立新的 ComputeClass。
2. 更新工作負載規格中的節點選取器，以參照新的 ComputeClass。
3. 套用更新後的工作負載規格。叢集自動調度器會使用新設定佈建新節點，並最終縮減舊節點。
4. 刪除舊的 ComputeClass 物件。

設定檔

如要使用設定檔編輯節點系統設定，您可以建立具有所需設定的新節點集區，或更新現有節點集區的節點系統設定。

建立節點集區以進行編輯

如要透過建立節點集區來編輯節點系統設定，請按照下列步驟操作：

1. 建立設定檔，並加入所需設定。
2. 將設定新增至新的節點集區。
3. 將工作負載遷移至新的節點集區。
4. 刪除舊節點集區。

透過更新現有節點集區進行編輯

如要編輯現有節點集區的現有節點系統設定，請按照「更新節點集區」分頁中的說明，將設定新增至節點集區。更新節點系統設定時，如果新設定會覆寫節點集區的現有系統設定，就必須重新建立節點。如果在更新期間省略任何參數，系統會將這些參數設為各自的預設值。

取得現有節點系統設定

如要擷取節點集區現有的節點系統設定 (例如，您已自訂設定並想新增設定)，請使用 gcloud container node-pools describe 指令。指令輸出內容會列出 kubeletConfig 和 linuxNodeConfig 下的所有現有設定。

舉例來說，請參閱下列程式碼片段，瞭解 describe 指令的輸出格式：

  kubeletConfig:
    allowedUnsafeSysctls:
    - kernel.shm*
    - kernel.msg*
    - kernel.sem
    - fs.mqueue.*
    - net.*
    cpuManagerPolicy: static
    insecureKubeletReadonlyPortEnabled: false
    maxParallelImagePulls: 2
  linuxNodeConfig: # IMPORTANT: Use linuxConfig when updating these settings
    sysctl:
      net.core.somaxconn: '2048'
      net.ipv4.tcp_rmem: 4096 87380 6291456

如果尚未設定節點系統設定，輸出內容不會列出 kubeletConfig 或 linuxNodeConfig。

重設現有節點系統設定

如要將節點系統設定重設為預設值，請更新設定檔，將 kubelet 和 sysctl 欄位的值設為空白，例如：

kubeletConfig: {}
linuxConfig:
  sysctl: {}

刪除節點系統設定

如要移除節點系統設定，請按照下列步驟操作，具體取決於您使用的是 ComputeClasses 還是設定檔。

適用於 ComputeClasses

如要移除自訂節點系統設定，請按照下列步驟操作：

1. 從工作負載規格中移除 cloud.google.com/compute-class 節點選取器。
2. 套用更新後的工作負載規格。GKE 會在預設節點上重新建立工作負載。叢集自動配置器最終會縮減規模，並刪除為 ComputeClass 佈建的節點。

3. 從叢集刪除 ComputeClass 物件：

   kubectl delete computeclass CUSTOM_COMPUTE_CLASS_NAME
   

設定檔

如要移除透過設定檔套用的節點系統設定，請按照下列步驟操作：

1. 建立新的節點集區，但不使用設定檔。
2. 將工作負載遷移至新的節點集區。
3. 刪除具有舊節點系統設定的節點集區。

「kubelet」的設定選項

本節中的表格說明可修改的 kubelet 選項。

CPU 管理

下表說明 kubelet 的 CPU 管理選項。

記憶體管理和逐出機制

下表說明記憶體管理和清除作業的可修改選項。本節也包含另一個表格，說明 evictionSoft 旗標的可修改選項。

下表列出 evictionSoft 旗標的可修改選項。 evictionSoftGracePeriod 和 evictionMinimumReclaim 旗標也適用相同選項，但限制不同。

PID 管理

下表說明可修改的 PID 管理選項。

記錄

下表說明可修改的記錄選項。

圖片垃圾回收

下表說明圖片垃圾收集作業的可修改選項。

提取映像檔

下表說明可修改的映像檔提取選項。

安全和不安全的作業

下表說明可修改的選項，用於設定安全性及處理不安全的操作。

資源管理員

Kubernetes 提供一系列資源管理工具。您可以設定這些資源管理工具，協調及最佳化節點資源的對齊方式，以符合 Pod 的特定 CPU、裝置和記憶體 (巨頁) 資源需求。

下表說明資源管理員可修改的選項。

容器重新啟動延遲

這項設定可控制容器處於 CrashLoopBackOff 狀態時，容器重啟嘗試之間的最長等待時間。如果 Standard 節點集區執行 GKE 1.35 版或更新版本，即可設定這項設定。

下表說明 crashLoopBackOff 的可修改選項。

在 GKE 中安全終止 Spot VM

下表說明 GKE 中 Spot VM 的終止和正常關機期間可修改的選項。如要使用這些選項，叢集的控制層必須執行 GKE 1.35.0-gke.1171000 以上版本。詳情請參閱「Spot VM 在 GKE 中的運作方式」。

系統資源預留

對於執行 Linux 和 GKE 1.37 以上版本的 Standard 節點集區，您可以自訂為系統元件保留的記憶體和 CPU 數量。這項功能可讓您針對特定情境微調可分配的容量，例如處理大量映像檔提取作業，或執行自訂節點 DaemonSet。如要進一步瞭解預設預留資源，請參閱「關於 GKE 節點大小」。

下表說明系統資源預留空間的可修改選項。

確認有效預訂

如要查看套用至節點集區的有效預訂，請檢查 effectiveMemoryReservedMib 和 effectiveCpuReservedMillicore 輸出欄位：

gcloud container node-pools describe POOL_NAME \
    --cluster=CLUSTER_NAME \
    --location=LOCATION \
    --format="yaml(config.kubeletConfig.reservedResourcesConfig)"

Sysctl 設定選項

如要調整系統效能，可以修改 Linux 核心參數。 本節中的表格說明您可以設定的各種核心參數。

檔案系統參數 (fs.*)

下表說明 Linux 檔案系統的可修改參數。這些設定可控制 Linux 檔案系統的行為，例如檔案控制代碼限制和事件監控。

核心參數 (kernel.*)

下表說明 Linux 核心的可修改參數。 這些設定會設定核心核心功能，包括共用記憶體配置。

網路參數 (net.*)

下表說明可修改的網路參數。這些設定可調整網路堆疊的效能和行為，從通訊端緩衝區到連線追蹤皆可調整。

虛擬記憶體參數 (vm.*)

下表說明虛擬記憶體子系統的可修改參數。這些設定可管理虛擬記憶體子系統，控制核心處理記憶體、交換和磁碟快取的方式。

如要進一步瞭解各 sysctl 旗標支援的值，請參閱 --system-config-from-file gcloud CLI 說明文件。

不同 Linux 命名空間的特定 sysctl 標記可能會有不重複的值，但其他標記可能適用於整個節點。使用節點系統設定更新 sysctl 選項，有助於確保 sysctl 會套用至節點和每個命名空間，讓每個 Pod 在每個 Linux 命名空間中都有相同的 sysctl 值。

Linux cgroup 模式設定選項

容器執行階段和 kubelet 會使用 Linux 核心 cgroups 進行資源管理，例如限制 Pod 中每個容器可存取的 CPU 或記憶體數量。核心中有兩個版本的 cgroup 子系統：cgroupv1 和 cgroupv2。Kubernetes cgroupv2 支援功能在 Kubernetes 1.18 版中以 Alpha 版推出，1.22 版為 Beta 版，1.25 版則為正式版。詳情請參閱 Kubernetes cgroups v2 說明文件。

節點系統設定可讓您自訂節點集區的 cgroup 設定。你可以使用 cgroupv1 或 cgroupv2。對於執行 1.26 以上版本的新 Standard 節點集區，GKE 會使用 cgroupv2，對於執行 1.26 之前版本的節點集區，則會使用 cgroupv1。如果是透過自動佈建節點功能建立的節點集區，cgroup 設定取決於初始叢集版本，而非節點集區版本。Arm 機器不支援「cgroupv1」。

您可以使用節點系統設定，將節點集區的設定變更為明確使用 cgroupv1 或 cgroupv2。將使用 cgroupv1 的現有節點集區升級至 1.26 版時，設定不會變更為 cgroupv2。如果現有節點集區執行的版本早於 1.26，且不含自訂 cgroup 設定，則會繼續使用 cgroupv1。如要變更設定，您必須為現有節點集區明確指定 cgroupv2。

舉例來說，如要將節點集區設為使用 cgroupv2，請使用節點系統設定檔，例如：

linuxConfig:
  cgroupMode: 'CGROUP_MODE_V2'

支援的 cgroupMode 選項如下：

• CGROUP_MODE_V1：在節點集區中使用 cgroupv1。
• CGROUP_MODE_V2：在節點集區中使用 cgroupv2。
• CGROUP_MODE_UNSPECIFIED：使用預設的 GKE cgroup 設定。

如要使用 cgroupv2，請務必遵守下列規定和限制：

• 如果節點集區執行的版本低於 1.26，則必須使用 gcloud CLI 408.0.0 以上版本。或者，使用 gcloud beta 395.0.0 以上版本。
• 叢集和節點集區必須執行 GKE 1.24.2-gke.300 以上版本。
• 您必須使用 Container-Optimized OS (含 containerd) 或 Ubuntu (含 containerd) 節點映像檔。
• 如果任何工作負載需要讀取 cgroup 檔案系統 (/sys/fs/cgroup/...)，請確保這些工作負載與 cgroupv2 API 相容。
• 如果您使用任何監控或第三方工具，請確認這些工具與 cgroupv2 相容。
• 如果您使用 Java 工作負載 (JDK)，建議使用完全支援 cgroupv2 的版本，包括 JDK 8u372、JDK 11.0.16 以上版本，或 JDK 15 以上版本。

驗證 cgroup 設定

新增節點系統設定時，GKE 必須重新建立節點，才能實作變更。將設定新增至節點集區並重新建立節點後，即可驗證新設定。

您可以使用 gcloud CLI 或 kubectl 指令列工具，驗證節點集區中節點的 cgroup 設定：

gcloud container node-pools describe POOL_NAME \
  --format='value(Config.effectiveCgroupMode)'

Linux Hugepages 設定選項

您可以手動預先分配 hugepage，也可以自動指派透明 hugepage。

預先配置的巨頁

您可以使用節點系統設定檔預先分配大頁面。Kubernetes 支援預先分配的巨頁，這類資源與 CPU 或記憶體類似。

如要使用巨頁，請遵守下列限制和規定：

• 為確保節點不會完全被 hugepage 佔用，所分配 hugepage 的總大小不得超過下列任一值：
  • 記憶體少於 30 GB 的電腦：總記憶體的 60%。舉例來說，在記憶體為 8 GB 的 e2-standard-2 機器上，您無法為巨頁分配超過 4.8 GB 的記憶體。
  • 在記憶體超過 30 GB 的電腦上：總記憶體的 80%。舉例來說，在記憶體為 32 GB 的 c4a-standard-8 機器上，巨頁不得超過 25.6 GB。
• 1 GB 巨頁僅適用於 A3、C2D、C3、C3D、C4、C4A、C4D、C4N、CT5E、CT5LP、CT6E、H3、M2、M3、M4、Z3 或 Z4D 機型。

下表說明 Linux Huge Pages 的可修改設定。

透明巨頁 (THP)

您可以使用節點系統設定檔，啟用 Linux 核心的透明巨頁支援。使用 THP 時，核心會自動將 hugepage 指派給程序，無需手動預先分配。

下表說明 THP 的可修改參數。

THP 適用於 GKE 1.33.2-gke.4655000 以上版本。在 GKE 1.33.2-gke.4655000 以上版本中，新的 TPU 節點集區也會預設啟用這項功能。將現有節點集區升級至支援的版本或更新版本時，系統不會啟用 THP。

Linux 精確時間同步選項

如果工作負載需要準確的時間同步，並監控時間同步的準確度，您可以設定準確時間，使用 chrony 和 ptp_kvm 將 VM 時鐘與主機時鐘同步。這項設定的目標是在支援的設定中，達到 1 毫秒內的準確度。如要進一步瞭解支援的機型、作業系統和可用區，請參閱「為 Compute Engine VM 設定準確時間」一文。

下表說明設定與 GKE 精確時間同步的參數：

Linux VFIO 設定選項

下表說明在節點上設定 VFIO (虛擬函式 I/O) 的參數。VFIO 可讓安全、無權限的使用者空間驅動程式存取 I/O 裝置。

Linux 磁碟 I/O 排程器設定選項

下表說明設定節點集區磁碟 I/O 排程器的參數。

後續步驟

• 瞭解如何將節點遷移至 Linux cgroupv2。
• 瞭解如何新增及管理節點集區。
• 瞭解如何在 GKE 節點中自訂 containerd 設定。
• 瞭解如何使用 DaemonSet 自動啟動 GKE 節點。