非構造化データの定義的な特徴は、事前定義されたデータモデルがないことです。テキスト、画像、動画、音声、IoT テレメトリーなど、さまざまな形式で提供されます。クリーンなスプレッドシート データとは異なり、この情報は通常、ペタバイト規模の膨大な量で蓄積されます。複雑で、極めて多様性に富み、常に変化しています。

このような自由形式のファイルを処理するには、いくつかの重要な理由から、まったく異なる技術的アプローチが必要になります。

• 従来のデータベースでは不十分: 非構造化データは完全に自由形式であるため、標準 SQL データベースではネイティブに読み取りやクエリができない
• SQL には明確な限界がある: カスタマー サービス コールの全体的な雰囲気を把握したり、写真内の特定のオブジェクトを識別したりするためのシンプルな SQL コマンドを記述することはできません。
• 専用のツールが必要: この情報を理解するには、組織は専用のソリューションに頼る必要があります。
• AI が分析を推進: チームは、AI、ML、自然言語処理を使用して、混沌としたデータ群をスキャン、解釈し、価値を抽出します。

これらの形式を比較することで、どのように組み合わされているかを理解できます。構造化データは SQL に依存し、厳密なスキーマを適用するため、簡単に検索できます。非構造化データはスキーマレスで、ネイティブでの検索が難しく、データレイクや NoSQL データベース ソリューションを必要とします。その中間にあるのが、JSON や XML などの半構造化データです。これには、ある程度の組織タグが含まれていますが、厳密なリレーショナル スキーマはありません。

適切なデータ パイプラインを構築するには、扱う情報の種類と、企業のチームが Google Cloud データベースを実際に使用してその情報を管理する方法を正確に把握することが重要です。非構造化データは、人間が生成したデータとマシンが生成したデータの 2 つの主要なカテゴリに分類できます。

ユーザーや従業員が毎日手動で作成しているコンテンツの例としては、次のようなものがあります。

• テキスト ドキュメントとコミュニケーション: 多くのアプリケーションでは、非構造化データは大量のメール、チャット メッセージ、カスタマー サポート チケットの形式で提供されます。
• ユースケース: デベロッパーは、未加工のサポート チケットが Cloud Storage に保存される自然言語処理（NLP）パイプラインを構築できます。そこから、Gemini Enterprise Agent Platform がテキストをスキャンして根本的な問題を特定し、これらの新たに構造化されたタグを Firestore データベースに直接保存します。Firestore はデータを即座に同期するため、社内ウェブアプリがリアルタイムで更新され、緊急のバグが適切なエンジニアリング チームに直接ルーティングされます。
• リッチメディア: コールセンターの音声ファイル、ユーザーがアップロードした画像、動画録画などが含まれます。
• ユースケース: 保険アプリを構築する場合、ユーザーがスマートフォンからアップロードした自動車事故の写真を処理する方法が必要です。これらの重いファイルを Cloud Storage に保存し、機械学習モデルを使用して視覚的な損傷を推定し、その構造化された修理見積もりを AlloyDB for PostgreSQL データベースに保存できます。これにより、標準的なエンタープライズ アプリケーションから AI の結果に迅速かつ確実にアクセスできるようになります。

コンピュータ、センサー、サーバーは、人間の入力なしでバックグラウンドで大量のデータを作成します。

• IoT センサーデータとテレメトリー: 工場の機械、スマート サーモスタット、コネクテッド カーは、常に未加工のデータをストリーミングしています。この未加工のテレメトリーの多くは、複雑でネストされた自由形式のフォーマットで届きます。
• ユースケース: 製造工場では、1 秒あたり数百万件の未加工の音声イベントとセンサー イベントがストリーミングされます。標準のリレーショナル テーブルではこの取り込み速度に対応できないため、デベロッパーは Bigtable を使用します。Bigtable は、この高スループットの時系列データを遅延なく取り込みます。次に、ML モデルがそのデータを読み取り、故障した部品の特定の音を特定します。これにより、機械が物理的に故障する前に予測メンテナンスをトリガーできます。
• 衛星画像と監視動画: 防犯カメラや気象衛星は、大量の視覚データを継続的に生成します。
• ユースケース: グローバルな海運会社が、大量の衛星動画のストリームを生成しています。同社は、これらの膨大なファイルを Cloud Storage に費用対効果の高い方法で保存し、コンピュータ ビジョンを使用して貨物船を特定し、構造化された位置情報の更新を Spanner に push しています。これにより、グローバル サプライ チェーン アプリに、リアルタイム トラッキングをクエリするための高精度でダウンタイムのないリレーショナル データベースを提供できます。

スケーラブルなアプリケーションを構築するために、デベロッパーはデータを適切なストレージ環境に一致させることができます。構造化データと非構造化データでは、パフォーマンスを維持し、インフラストラクチャ費用を管理可能なレベルに抑えるために、まったく異なるアーキテクチャが必要になります。

構造化データの場合、組織はエンタープライズ データ ウェアハウス（EDW）を利用しています。この環境は、厳格なルールと予測可能な形式に従った情報を処理することを目的として構築されています。

• エンタープライズ データ ウェアハウスを使用すると、課金システムや顧客管理ツールなど、複数のリレーショナル データベースから構造化された情報を一元化できます。
• チームは、データを保存する前にクリーニングとフォーマットを行い、すべての情報が事前定義されたテーブルに完全に収まるようにする必要があります。
• ビジネス インテリジェンス ツールは、数十億行にわたる複雑な SQL クエリを数秒で実行し、信頼性の高い履歴レポートと予測を提供できます。

非構造化データには、はるかに柔軟なアプローチが必要です。動画、音声録音、未処理のテキストログなどの大きなファイルは、整然としたテーブルに収まらないため、デベロッパーはデータレイクと Cloud Storage バケットを使用して保存します。

• データレイクは、特定の構造に強制的に変換することなく、ネイティブの未加工形式でファイルを保存できる柔軟なリポジトリを提供します。
• クラウド ストレージ バケットは、オブジェクト ストレージを使用してこれらのデータレイクを強化し、データベースを再構築することなく、システムをペタバイトの容量までスケールアップできるようにします。
• 重い非構造化ファイルを従来のデータベースに保存すると、非常に高額な費用がかかります。そのため、ストレージ バケットは大量のデータにおいて費用効果の高い選択肢となります。
• データを未加工の形式で保持することで、AI と ML のパイプラインが、コンピュータ ビジョンと自然言語処理のモデルをトレーニングするために必要なファイルを簡単に pull できるようになります。

ほとんどのエンタープライズ アーキテクチャは、最終的には単一のストレージ プラットフォームでは対応できなくなります。システムがスケールするにつれて、データレイクとストレージ バケットは自然にさまざまな地域やクラウド プロバイダに分散されます。この断片化は、すべての非構造化ファイルに一度にアクセスする必要がある ML パイプラインを構築しようとする際に制約となります。

Google Cloud は、Agentic Data Cloud を使用して、この特定のアーキテクチャ上の課題に対処します。分散ストレージ環境を 1 つの統合アクセス ポイントに接続する、AI ネイティブのクロスクラウド レイクハウスを備えています。

• Google Cloud 全体にあるファイルへのゼロコピー アクセスをアプリケーションに付与します
• 開発チームは、重いオブジェクトをクラウド間で移行するための高価なパイプラインを構築する代わりに、情報が保存されている場所で正確に情報を分析、処理できます
• この設定により、孤立したデータサイロが排除され、ベンダー ロックインを強制することなく、自律型 AI ワークフローをサポートするインフラストラクチャ全体が準備されます

これらの複雑なファイルから有意義な価値を引き出すには、専用のフレームワークが必要です。AI と ML は、このプロセスのエンジンとして機能します。たとえば、AI を活用した自動パイプラインは、動画ファイルや未加工のテキスト ドキュメントを、大量のバイナリコードのブロックから読み取り可能なデータに変換するのに役立ちます。

デベロッパーは、特定の AI 技術を適用して、次のようなさまざまな種類のファイルを処理します。

• メール、サポートチケット、法的契約書など、テキストの多いドキュメントを読み取る NLP
• コンピュータ ビジョン: 画像や動画を分析し、監視映像の確認、医療画像の評価、衛星写真の処理などのタスクを支援
• 音声ファイルを文字変換してテキストを検索可能にする Speech-to-Text モデル

最新の AI パイプラインがこの情報を処理して、現実世界のソリューションを推進する仕組みは次のとおりです。

1. 非構造化ソースの収集: ユーザー、デバイス、アプリケーションによって常に生成される未加工データ。一般的な例としては、テキストが中心のメール、動画ファイル、IoT センサーのストリーム、PDF、ソーシャル メディアの投稿などがあります。
2. 取り込みレイヤを介したルーティング: システムは受信データを安全に収集し、正しいストレージ宛先にルーティングします。デベロッパーは、メインのアプリケーションを遅くすることなくこのデータを移動するために、大容量のデータ パイプライン、API ゲートウェイ、またはバッチ ファイルのアップロードを使用することがよくあります。
3. ストレージ レイヤでの保護: システムは、アクセスに必要な速度と頻度に基づいて情報を安全に保持します。たとえば、Cloud Storage を未加工のデータレイクに、Bigtable を高速な IoT ログに、Firestore を柔軟なアプリ コンテンツに使用できます。
4. 処理レイヤでの分析: ここで AI モデルが役立ちます。特殊なコンピューティング モデルが、前述の NLP、コンピュータ ビジョン、音声文字変換ツールを使用して、自由形式のファイルを読み取り、スキャンし、解釈して意味を見つけます。
5. 分析情報レイヤの提供: 最後に、システムは処理されたデータを明確で実用的なビジネス インテリジェンスに変換します。コールセンターの録音から顧客の感情スコアを、コンプライアンスのためにドキュメントの自動分類を、工場のセンサーから予測メンテナンスのアラートを、といった貴重な成果を得ることができます。
6. 継続的なフィードバックと最適化: 信頼度の低い AI 予測は、人間によるレビュー担当者にルーティングされ、検証と修正が行われます。この新たに修正されたデータは、新しいトレーニング データとしてステップ 1 にフィードバックされ、AI モデルの再トレーニングと改善に使用されます。システムはモデルの精度とレイテンシを常に追跡し、AI が時間の経過とともに劣化しないようにします。

管理ソリューションの選択は、特定のワークロードと成長軌跡によって異なります。まずは、オンプレミスのファイル ストレージとクラウドのオブジェクト ストレージを比較することから始めるとよいでしょう。複雑さが増すにつれて、クラウドネイティブのデータレイクや、フルマネージドの AI 統合プラットフォームが選択されることが多くなります。

選択肢を評価する際は、次の技術チェックリストを考慮してください。

• ストレージ アーキテクチャ（ファイルベースかオブジェクト ストレージかデータレイクか）
• 費用対効果の高いペタバイト規模のスケーラビリティ
• ネイティブ AI と ML の統合（NLP、コンピュータ ビジョン、エンべディング）
• NoSQL の柔軟性（スループット重視のワークロードには Bigtable、アプリケーション レベルのコンテンツには Firestore）
• データ ガバナンス、アクセス制御、コンプライアンスの機能
• マルチフォーマットのサポート（テキスト、画像、動画、音声、IoT）
• 既存のデータ ウェアハウス、BI ツール、分析プラットフォームとの統合
• 目標データ量の総所有コスト

AI ワークロードが増加するにつれ、ストレージは単なる受動的なリポジトリではなくなっています。ストレージは、AI パフォーマンス パスのアクティブなコンポーネントです。デベロッパーとデータベース管理者のインフラストラクチャの速度低下を解消するために、Google Cloud はいくつかの高度な非構造化ストレージ機能を導入しました。

高パフォーマンスのデータ アーキテクチャを設計している場合に、非構造化形式を大規模に処理および管理するために使用できる具体的なツールを以下に示します。

• 自動メタデータのためのスマート ストレージ: スマート ストレージは、非構造化オブジェクトがバケットに書き込まれた瞬間に、画像アノテーションなどのコンテキストを自動的に生成します。そのため、デベロッパーがカスタムの手動アノテーション パイプラインを構築する必要は一切ありません。また、Model Context Protocol（MCP）サーバーのインテグレーションも備えており、AI エージェントが Cloud Storage データをネイティブに読み取り、書き込み、分析できます。
• 非構造化データの分析情報: この Knowledge Catalog 機能は、Gemini Enterprise Agent Platform を使用して、データレイクに保存されている PDF などの未加工の非構造化ファイルの実際の内容を分析します。スキーマを自動的に推測して関係を抽出し、非構造化ファイルを BigQuery オブジェクト テーブルに直接カタログ化するため、すぐにクエリを実行できます。
• Cloud Storage Rapid: AI 処理の急増に特化して設計されたこのストレージ ファミリーは、非常に高い帯域幅と低レイテンシを実現します。Rapid Bucket は 15 TB/秒を超える帯域幅を提供し、Rapid Cache はモデルの読み込みなどの負荷の高いタスクで読み取りスループットを最大 2.5 TB/秒まで高速化します。既存のバケットのコード変更は不要です。
• Managed Lustre: インフラストラクチャ チームが大規模なトレーニング クラスタを構築している場合、Google Cloud Managed Lustre は、Remote Direct Memory Access（RDMA）を介して最大 10 TB/秒のスループットを実現します。これにより、高性能コンピューティング アクセラレータに必要なデータが遅延なく常に供給されます。
• Z4M インスタンス: カスタム ストレージ アーキテクチャを構築する組織向けに、新しい Z4M インスタンスは、インスタンスあたり最大 168 TiB のローカル SSD 容量を備えた信頼性の高い並列ファイル システムをサポートします。

これらの専用ストレージ ツールを活用することで、基盤となるインフラストラクチャが、最新のエージェント アプリケーションに求められる膨大なスループットと高い同時実行性を容易にサポートできるようになります。