クラスタの Managed Service for Apache Spark の概要

クラスタ上の Managed Service for Apache Spark を使用すると、オープンソースのデータツールを利用してバッチ処理、クエリ実行、ストリーミング、ML を行えます。クラスタの Managed Service for Apache Spark の自動化機能を利用すると、クラスタを速やかに作成し、簡単に管理できます。また、不要なときにはクラスタを無効にして費用を節約できます。管理にかかる時間と費用が削減されるので、自分の仕事とデータに集中できます。

クラスタ上の Managed Service for Apache Spark の利点

従来のオンプレミス プロダクトや競合するクラウド サービスと比較すると、Managed Service for Apache Spark には 3 ノードから数百ノードの規模のクラスタに対して固有の利点があります。

  • 低コスト - クラスタ上の Managed Service for Apache Spark の料金は、他に使用する Google Cloud リソースに加えて、クラスタの仮想 CPU ごとに 1 時間あたりわずか 1 セントです。この低料金に加え、Managed Service for Apache Spark クラスタには計算料金が低いプリエンプティブル インスタンスを含めることができるため、費用をさらに低く抑えることができます。クラスタ上の Managed Service for Apache Spark では、使用時間を直近の時間単位に切り上げるのではなく、実際に使用したものに対してのみ秒単位（最小請求対象期間は 1 分）で課金されます。
  • 超高速 - クラスタで Managed Service for Apache Spark を使用しないと、オンプレミスまたは IaaS プロバイダで Spark と Hadoop クラスタを作成するのに 5 ～ 30 分かかる場合があります。これに対し、Managed Service for Apache Spark クラスタは起動、スケーリング、シャットダウンが高速で、こうした各オペレーションに要する時間は平均 90 秒以下です。つまり、クラスタの待機時間を減らし、実際にデータを扱う時間を増やすことができます。
  • 統合 - クラスタ上の Managed Service for Apache Spark には、BigQuery、Cloud Storage、Bigtable、Cloud Logging、Cloud Monitoring などの他の Google Cloud サービスとの統合が組み込まれているため、単なる Spark クラスタや Hadoop クラスタではなく、完全なデータ プラットフォームが得られます。たとえば、クラスタで Managed Service for Apache Spark を使用すると、テラバイト単位の元のログデータを BigQuery に直接取り込んで、ETL 処理によって簡単にビジネス レポートを作成できます。
  • マネージド - 管理者の助けや特別なソフトウェアを必要としないで、Spark クラスタと Hadoop クラスタを使用できます。クラスタや Spark または Hadoop ジョブは、 Google Cloud コンソール、Cloud SDK、またはクラスタの Managed Service for Apache Spark の REST API を使用して操作できます。クラスタの使用が終了したら、クラスタをオフにするだけで、アイドル状態のクラスタに費用がかからないようにできます。Managed Service for Apache Spark は Cloud Storage、BigQuery、Bigtable と統合されているため、データの損失について心配する必要はありません。
  • 簡単で一般的 - クラスタで Managed Service for Apache Spark を使用するために新しいツールや API を学習する必要はありません。したがって、再開発せずに既存のプロジェクトをクラスタで Managed Service for Apache Spark に移行できます。Spark、Hadoop、Pig、Hive は頻繁に更新されるため、生産性を高めることができます。

クラスタの Managed Service for Apache Spark には何が含まれていますか？

クラスタで Managed Service for Apache Spark でサポートされているオープンソース（Hadoop、Spark、Hive、Pig）と Google Cloudコネクタのバージョンのリストについては、Managed Service for Apache Spark クラスタ イメージのバージョン リストをご覧ください。

ご利用にあたって

開始するには、クラスタの Managed Service for Apache Spark のクイックスタートをご覧ください。クラスタ上の Managed Service for Apache Spark には、次の方法でアクセスできます。