비정형 데이터의 가장 큰 특징은 사전 정의된 데이터 모델이 없다는 것입니다. 텍스트, 이미지, 동영상, 오디오, IoT 원격 분석 등 다양한 형식으로 제공됩니다. 정리된 스프레드시트 데이터와 달리 이러한 정보는 일반적으로 페타바이트 규모의 방대한 양으로 축적됩니다. 복잡하고, 변동성이 크며, 끊임없이 변화합니다.

이러한 자유 형식 파일을 처리하려면 몇 가지 주요 이유로 완전히 다른 기술적 접근 방식이 필요합니다.

• 기존 데이터베이스의 한계: 비정형 데이터는 형식이 완전히 자유롭기 때문에 표준 SQL 데이터베이스는 이를 기본적으로 읽거나 쿼리할 수 없습니다.
• SQL의 명확한 한계: 간단한 SQL 명령어를 작성하여 고객 서비스 통화의 전반적인 분위기를 파악하거나 사진에서 특정 객체를 식별할 수 없습니다.
• 특수 도구 필요: 이 정보를 이해하려면 조직에서 목적에 맞게 빌드된 솔루션에 의존해야 합니다.
• AI 기반 분석: 팀은 인공지능, 머신러닝, 자연어 처리를 사용하여 혼란 속에서 가치를 스캔, 해석, 추출합니다.

이러한 형식을 대조해 보면 서로 어떻게 어울리는지 이해하는 데 도움이 됩니다. 정형 데이터는 SQL을 사용하고 엄격한 스키마를 적용하며 쉽게 검색할 수 있습니다. 비정형 데이터는 스키마가 없으며 기본적으로 검색하기 어렵고 데이터 레이크 또는 NoSQL 데이터베이스 솔루션이 필요합니다. 중간에는 JSON 또는 XML과 같은 반정형 데이터가 있습니다. 반정형 데이터에는 일부 조직 태그가 포함되어 있지만 엄격한 관계형 스키마는 없습니다.

적절한 데이터 파이프라인을 빌드하려면 어떤 종류의 정보를 다루고 있는지, 엔터프라이즈팀이 실제로 Google Cloud 데이터베이스를 사용하여 정보를 어떻게 관리하는지 정확히 파악하는 것이 좋습니다. 비정형 데이터는 인간이 생성한 데이터와 머신이 생성한 데이터라는 두 가지 주요 카테고리로 나눌 수 있습니다.

이는 사용자와 직원이 매일 수동으로 생성하는 콘텐츠의 예시입니다.

• 텍스트 문서 및 커뮤니케이션: 많은 애플리케이션에서 비정형 데이터는 대량의 이메일, 채팅 메시지, 고객 지원 티켓의 형태로 제공될 수 있습니다.
• 사용 사례: 개발자는 원시 지원 티켓이 Cloud Storage에 도착하는 자연어 처리(NLP) 파이프라인을 빌드할 수 있습니다. 여기에서 Gemini Enterprise Agent Platform이 텍스트를 스캔하여 핵심 문제를 찾고, 시스템은 새로 구조화된 태그를 Firestore 데이터베이스에 직접 저장합니다. Firestore는 데이터를 즉시 동기화하므로 내부 웹 앱이 실시간으로 업데이트되어 긴급한 버그를 적절한 엔지니어링팀에 직접 라우팅합니다.
• 리치 미디어: 콜 센터의 오디오 파일, 사용자가 업로드한 이미지, 동영상 녹화 등이 포함됩니다.
• 사용 사례: 보험 앱을 빌드하는 경우 사용자가 휴대전화에서 업로드하는 교통사고 사진을 처리할 방법이 필요합니다. 이러한 대용량 파일을 Cloud Storage에 저장하고, 머신러닝 모델을 사용하여 시각적 손상을 추정하고, 구조화된 수리 견적을 PostgreSQL용 AlloyDB 데이터베이스에 저장할 수 있습니다. 이를 통해 표준 엔터프라이즈 애플리케이션이 AI 결과에 빠르고 안정적으로 액세스할 수 있습니다.

컴퓨터, 센서, 서버는 사람의 입력 없이도 백그라운드에서 엄청난 양의 데이터를 생성합니다.

• IoT 센서 데이터 및 텔레메트리: 공장 기계, 스마트 온도 조절기, 커넥티드 카는 원시 데이터를 지속적으로 스트리밍합니다. 이러한 원시 원격 분석 데이터의 대부분은 복잡하고 중첩된 자유 형식으로 제공됩니다.
• 사용 사례: 제조 공장에서 초당 수백만 개의 원시 오디오 및 센서 이벤트를 스트리밍합니다. 표준 관계형 테이블은 이러한 수집 속도를 처리할 수 없으므로 개발자는 Bigtable을 사용합니다. Bigtable은 지연 없이 높은 처리량의 시계열 데이터를 흡수합니다. 그런 다음 ML 모델이 해당 데이터를 읽어 부품 고장 시 발생하는 특정 소리를 감지하면 기계가 물리적으로 고장 나기 전에 예측 유지보수를 트리거할 수 있습니다.
• 위성 이미지 및 감시 동영상: 보안 카메라와 기상 위성은 대량의 시각적 데이터를 지속적으로 생성합니다.
• 사용 사례: 한 글로벌 운송 회사는 위성에서 촬영한 원시 동영상 스트림을 대량으로 생성합니다. 이 회사는 이러한 대규모 파일을 Cloud Storage에 비용 효율적으로 저장하고, 컴퓨터 비전을 사용하여 화물선을 식별한 다음, 이러한 정형화된 위치 업데이트를 Spanner로 내보냅니다. 이를 통해 전역 공급망 앱에 매우 정확하고 다운타임이 없는 관계형 데이터베이스를 제공하여 실시간 추적을 위한 쿼리를 실행할 수 있습니다.

확장 가능한 애플리케이션을 빌드하기 위해 개발자는 데이터를 적절한 스토리지 환경에 매칭할 수 있습니다. 정형 데이터와 비정형 데이터는 성능을 유지하고 인프라 비용을 관리 가능한 수준으로 유지하기 위해 완전히 다른 아키텍처가 필요합니다.

정형 데이터의 경우 조직은 엔터프라이즈 데이터 웨어하우스(EDW)를 사용합니다. 이 환경은 엄격한 규칙과 예측 가능한 형식을 따르는 정보를 처리하도록 특별히 설계되었습니다.

• 엔터프라이즈 데이터 웨어하우스를 사용하면 결제 시스템과 고객 관계 도구를 비롯한 여러 관계형 데이터베이스의 정형 정보를 중앙화할 수 있습니다.
• 팀은 데이터를 저장하기 전에 정리하고 형식을 지정하여 모든 정보가 사전 정의된 테이블에 완벽하게 맞도록 해야 합니다.
• 그러면 비즈니스 인텔리전스 도구가 수십억 개의 행에 대해 복잡한 SQL 쿼리를 몇 초 만에 실행하여 신뢰할 수 있는 과거 보고 및 예측을 제공할 수 있습니다.

비정형 데이터에는 훨씬 더 유연한 접근방식이 필요합니다. 동영상, 오디오 녹음, 원시 텍스트 로그와 같은 대용량 파일은 깔끔한 테이블에 맞지 않기 때문에 개발자는 데이터 레이크와 Cloud Storage 버킷을 사용하여 이러한 파일을 보관합니다.

• 데이터 레이크는 파일을 특정 구조로 강제하지 않고도 기본 원시 형식으로 저장할 수 있는 유연한 저장소를 제공합니다.
• Cloud Storage 버킷은 객체 스토리지를 사용하여 이러한 데이터 레이크를 지원하므로 데이터베이스를 다시 빌드할 필요 없이 시스템을 페타바이트 규모로 수직 확장할 수 있습니다.
• 기존 데이터베이스에 대용량의 비정형 파일을 저장하는 것은 비용이 많이 들기 때문에 스토리지 버킷이 대량의 데이터에 훨씬 더 비용 효율적인 옵션입니다.
• 데이터를 원시 형태로 유지하면 인공지능 및 머신러닝 파이프라인에서 컴퓨터 비전 및 자연어 처리 모델을 학습시키는 데 필요한 파일을 쉽게 가져올 수 있습니다.

대부분의 엔터프라이즈 아키텍처는 결국 단일 스토리지 플랫폼을 넘어 확장됩니다. 시스템이 확장됨에 따라 데이터 레이크와 스토리지 버킷은 자연스럽게 여러 리전과 클라우드 제공업체에 분산됩니다. 이러한 단편화는 모든 비정형 파일에 한 번에 액세스해야 하는 머신러닝 파이프라인을 빌드하려고 할 때 제약이 됩니다.

Google Cloud는 에이전트형 데이터 클라우드를 통해 이러한 특정 아키텍처 과제를 해결합니다. 분산된 스토리지 환경을 하나의 통합 액세스 포인트로 연결하는 AI 네이티브 크로스 클라우드 레이크하우스를 특징으로 합니다.

• 애플리케이션에 Google Cloud 전반에 위치한 파일에 대한 제로 카피 액세스 권한을 부여합니다.
• 개발팀은 무거운 객체를 한 클라우드에서 다른 클라우드로 마이그레이션하기 위해 값비싼 파이프라인을 빌드하는 대신 정보가 있는 바로 그 위치에서 정보를 분석하고 처리할 수 있습니다.
• 이러한 설정을 통해 고립된 데이터 사일로를 제거하고 공급업체 종속 없이 자율적인 AI 워크플로를 지원하도록 전체 인프라를 준비할 수 있습니다.

이러한 복잡한 파일에서 의미 있는 가치를 얻으려면 전용 프레임워크가 필요합니다. 인공지능과 머신러닝은 이 프로세스의 엔진 역할을 할 수 있습니다. 예를 들어 AI 지원 자동화 파이프라인은 동영상 파일이나 원시 텍스트 문서를 대규모 바이너리 코드 블록에서 읽을 수 있는 데이터로 변환하는 데 도움이 될 수 있습니다.

개발자는 다음과 같은 다양한 유형의 파일을 처리하기 위해 특정 AI 기법을 적용합니다.

• 이메일, 지원 티켓, 법적 계약서와 같이 텍스트가 많은 문서를 읽는 NLP
• 이미지와 동영상을 분석하는 컴퓨터 비전은 감시 영상 검토, 의료 영상 평가, 위성 사진 처리와 같은 작업을 지원
• 오디오 파일을 스크립트 작성하여 텍스트를 검색 가능하게 만드는 음성 텍스트 변환 모델

최신 AI 파이프라인이 이 정보를 처리하여 실제 솔루션을 도출하는 방법을 자세히 살펴보겠습니다.

1. 비정형 소스 수집: 원시 데이터는 사용자, 기기, 애플리케이션에 의해 지속적으로 생성됩니다. 일반적인 예로는 텍스트가 많은 이메일, 동영상 파일, IoT 센서 스트림, PDF, 소셜 미디어 게시물 등이 있습니다.
2. 수집 계층을 통한 라우팅: 시스템은 수신 데이터를 안전하게 수집하고 올바른 스토리지 대상으로 라우팅합니다. 개발자는 주 애플리케이션의 속도를 늦추지 않고 이 데이터를 이동하기 위해 대량 데이터 파이프라인, API 게이트웨이 또는 일괄 파일 업로드를 사용하는 경우가 많습니다.
3. 스토리지 계층에서 보안 유지: 시스템은 정보에 얼마나 자주, 신속하게 액세스해야 하는지에 따라 정보를 안전하게 보관합니다. 원시 데이터 레이크에는 Cloud Storage를, 빠른 IoT 로그에는 Bigtable을, 유연한 앱 콘텐츠에는 Firestore를 사용할 수 있습니다.
4. 처리 레이어에서 분석: 이 단계에서 AI 모델이 도움이 될 수 있습니다. 특수화된 컴퓨팅 모델은 위에 언급된 NLP, 컴퓨터 비전, 음성 텍스트 변환 도구를 사용하여 자유 형식 파일을 읽고, 스캔하고, 해석하여 의미를 찾습니다.
5. 인사이트 레이어 제공: 마지막으로 시스템은 처리된 데이터를 명확하고 실행 가능한 비즈니스 인텔리전스로 변환합니다. 결과적으로 콜 센터 녹음에서 얻은 고객 감정 점수, 규정 준수를 위한 자동화된 문서 분류, 공장 센서에서 얻은 예측 유지보수 알림과 같은 가치 있는 출력을 얻을 수 있습니다.
6. 지속적인 피드백 및 최적화: 신뢰도가 낮은 AI 예측은 인적 검토자에게 전달되어 검증 및 수정됩니다. 이렇게 새로 수정된 데이터는 새로운 학습 데이터로 1단계에 다시 입력되어 AI 모델을 재학습시키고 개선합니다. 시스템은 모델 정확성과 지연 시간을 지속적으로 추적하여 시간이 지나도 AI 성능이 저하되지 않도록 합니다.

관리 솔루션 선택은 구체적인 워크로드와 성장 궤도에 따라 달라집니다. 온프렘 파일 스토리지와 클라우드 객체 스토리지를 비교하는 것으로 시작할 수 있습니다. 복잡성이 증가함에 따라 클라우드 네이티브 데이터 레이크 또는 완전 관리형 AI 통합 플랫폼으로 전환하는 경우가 많습니다.

옵션을 평가할 때는 다음 기술 체크리스트를 고려하세요.

• 스토리지 아키텍처(파일 기반, 객체 스토리지, 데이터 레이크 비교)
• 비용 효율적으로 페타바이트 규모로 확장 가능
• 기본 AI 및 ML 통합(NLP, 컴퓨터 비전, 임베딩)
• NoSQL 유연성(처리량 집약적 워크로드를 위한 Bigtable, 애플리케이션 수준 콘텐츠를 위한 Firestore)
• 데이터 거버넌스, 액세스 제어, 규정 준수 기능
• 멀티 형식 지원(텍스트, 이미지, 동영상, 오디오, IoT)
• 기존 웨어하우스, BI 도구, 분석 플랫폼과의 통합
• 목표 데이터 볼륨의 총소유비용

인공지능 워크로드가 증가함에 따라 스토리지는 더 이상 수동적인 저장소에 그치지 않습니다. 이는 AI 성능 경로의 활성 구성요소입니다. 개발자와 데이터베이스 관리자의 인프라 속도 저하를 없애기 위해 Google Cloud는 몇 가지 고급 비정형 스토리지 기능을 도입했습니다.

고성능 데이터 아키텍처를 설계하는 경우 비정형 형식을 대규모로 처리하고 관리하는 데 사용할 수 있는 구체적인 도구는 다음과 같습니다.

• 자동화된 메타데이터를 위한 스마트 저장용량: 스마트 저장용량은 비정형 객체가 버킷에 기록되는 즉시 이미지 주석과 같은 컨텍스트를 자동으로 생성합니다. 이를 통해 개발자가 커스텀 수동 주석 파이프라인을 빌드할 필요가 완전히 없어집니다. 또한 모델 컨텍스트 프로토콜(MCP) 서버 통합을 통해 AI 에이전트가 Cloud Storage 데이터를 기본적으로 읽고, 쓰고, 분석할 수 있습니다.
• 비정형 데이터에 대한 데이터 인사이트: 이 Knowledge Catalog 기능은 Gemini Enterprise Agent Platform을 사용하여 데이터 레이크에 저장된 PDF와 같은 원시 비정형 파일의 실제 콘텐츠를 분석합니다. 스키마를 자동으로 추론하고 관계를 추출하여 비정형 파일을 BigQuery 객체 테이블에 직접 카탈로그화하므로 즉시 쿼리할 수 있습니다. 
• Cloud Storage Rapid: 갑작스러운 AI 처리 급증을 위해 특별히 설계된 이 스토리지 제품군은 매우 높은 대역폭과 짧은 지연 시간을 제공합니다. Rapid Bucket은 15TB/s 이상의 대역폭을 제공하며, Rapid Cache는 모델 로드와 같은 집약적인 작업의 읽기 처리량을 최대 2.5TB/s까지 가속화하므로 기존 버킷의 코드를 변경할 필요가 없습니다.
• Managed Lustre: 인프라팀에서 대규모 학습 클러스터를 빌드하는 경우 이제 Google Cloud Managed Lustre가 원격 직접 메모리 액세스(RDMA)를 통해 최대 10TB/s의 처리량을 제공합니다. 이를 통해 고성능 컴퓨팅 가속기에 필요한 데이터가 지연 없이 지속적으로 공급됩니다. 
• Z4M 인스턴스: 커스텀 스토리지 아키텍처를 빌드하는 조직을 위해 새로운 Z4M 인스턴스는 인스턴스당 최대 168TiB의 로컬 SSD 용량으로 신뢰할 수 있는 병렬 파일 시스템을 지원합니다.

이러한 목적에 맞게 빌드된 스토리지 도구를 활용하면 기본 인프라가 최신 에이전트형 애플리케이션에 필요한 대규모 처리량과 높은 동시 실행을 손쉽게 지원할 수 있습니다.