בוחרים באפשרות standard, SSD, balanced Persistent Disk או Google Cloud Hyperdisk balanced כדי להגדיר דיסקים לאתחול של צמתים באשכול Managed Service for Apache Spark.
אפשרויות לסוג דיסק האתחול:
אפשר לבחור דיסק אחסון מתמיד מסוג standard, SSD או balanced Persistent Disk, דיסק אתחול בשביל צמתי אשכולות מסוג master, primary worker ו-secondary worker.
אתם יכולים לבחור באפשרות hyperdisk balanced בתור דיסק האתחול של הצמתים master ו-primary worker. הערה: כשסוג דיסק האתחול של העובד הראשי מוגדר כ-hyperdisk balanced, השירות Managed Service for Apache Spark מגדיר באופן אוטומטי את סוג דיסק האתחול של העובד המשני כ-hyperdisk balanced.
סוג ברירת המחדל של דיסק אתחול קבוע לצמתים ראשיים ולצמתים ראשיים של worker באשכול Managed Service for Apache Spark הוא standard (pd-standard). אם סוג המכונה של מכונת ה-VM תומך רק ב-hyperdisk balanced כדיסק אתחול, דיסק האתחול שמוגדר כברירת מחדל הוא hyperdisk balanced (hyperdisk-balanced). סוג ברירת המחדל של דיסק אתחול קבוע לצמתים משניים של worker באשכול הוא סוג דיסק האתחול הקבוע של הצומת הראשי של worker.
בחירת סוגים של דיסקי אתחול מתמידים לצמתים של אשכול
אפשר לבחור את סוג דיסק האתחול המתמיד כשיוצרים אשכול באמצעות מסוףGoogle Cloud , Google Cloud CLI או Dataproc API.
מסוףGoogle Cloud
כדי לבחור את סוגי דיסקי האתחול של צומתי האשכול:
- פותחים את הדף Managed Service for Apache Spark Create a cluster (יצירת אשכול).
- לוחצים על הגדרה נוספת כדי להרחיב את הקטע.
- לוחצים על עובדים ראשיים ועל עובדים משניים כדי לאשר או לשנות את הגדרות ברירת המחדל.
- כברירת מחדל, ההגדרות של צומת ה-driver (הראשי) זהות להגדרות של העובד הראשי. בקטע Additional configuration (הגדרה נוספת), אפשר ללחוץ על Driver node (צומת של מנהל התקן) כדי לבטל את הסימון של התיבה Default driver node to the same as primary worker (צומת ברירת המחדל של מנהל ההתקן זהה לצומת העובד הראשי), ואז לציין את ההגדרות של צומת מנהל ההתקן.
CLI של gcloud
אפשר ליצור אשכול ולבחור את סוגי דיסקי האתחול של צומתי האשכול באמצעות הפקודה gcloud dataproc clusters create עם הדגלים --master-boot-disk-type, --worker-boot-disk-type ו---secondary-worker-boot-disk-type.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --master-boot-disk-type=pd-ssd \ --worker-boot-disk-type=hyperdisk-balanced \ other args ...
API בארכיטקטורת REST
אפשר להגדיר ערך של pd-standard, pd-ssd, pd-balanced או hyperdisk-balanced בשדה InstanceGroupConfig.DiskConfig.bootDiskType ב-masterConfig, workerConfig ו-secondaryWorkerConfig כחלק מבקשת API של cluster.create.
הגדרות Hyperdisk
כשיוצרים אשכול עם נפח מאוזן של hyperdisk בתור דיסק האתחול של צומת באשכול Managed Service for Apache Spark, אפשר להגדיר את ה-IOPS וה-Throughput שהוקצו.
המסוף
כדי להגדיר IOPS ו-Throughput שהוקצו:
- פותחים את הדף Managed Service for Apache Spark Create a cluster (יצירת אשכול).
- לוחצים על הגדרה נוספת כדי להרחיב את הקטע.
- לוחצים על צומת דרייבר או על Primary workers.
- בחלונית שנפתחת, מגדירים את ההגדרות של IOPS מוקצה ושל קצב העברת הנתונים, ואז לוחצים על שמירה.
CLI של gcloud
אפשר להגדיר IOPS מוקצה וקצב העברת נתונים מוקצה לצמתים של אשכולות באמצעות דיסקים לאתחול מסוג hyperdisk-balanced באמצעות הפקודה gcloud dataproc clusters create והדגלים --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput ו---worker-boot-disk-provisioned-throughput.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --master-boot-disk-type=hyperdisk-balanced \ --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS \ --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \ --worker-boot-disk-type=hyperdisk-balanced \ --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \ --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \ other args ...
API בארכיטקטורת REST
אפשר להגדיר IOPS מוקצה וקצב העברת נתונים מוקצה לצמתי אשכול עם דיסקים לאתחול מסוג hyperdisk באמצעות השדות InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops ו-InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput בהגדרות של הצומת הראשי והצומת של העובד.