La característica que define los datos no estructurados es que no tienen un modelo de datos predefinido. Llega en diversos formatos, como texto, imágenes, vídeo, audio y telemetría del Internet de las cosas. A diferencia de los datos limpios de las hojas de cálculo, esta información suele acumularse en volúmenes masivos a escala de petabytes. Es complejo, muy variable y está en constante cambio.

Procesar estos archivos de formato libre requiere un enfoque técnico completamente diferente por varios motivos clave:

• Las bases de datos tradicionales se quedan cortas: como los datos sin estructurar son totalmente libres, las bases de datos SQL estándar no pueden leerlos ni consultarlos de forma nativa.
• SQL tiene límites claros: no puedes escribir un comando SQL simple para averiguar el estado de ánimo general de una llamada de servicio de atención al cliente o identificar un objeto específico en una foto.
• Se necesitan herramientas especializadas: para dar sentido a esta información, las empresas deben recurrir a soluciones específicas.
• La IA impulsa el análisis: los equipos utilizan la inteligencia artificial, el aprendizaje automático y el procesamiento del lenguaje natural para analizar, interpretar y extraer valor del caos.

Es útil comparar estos formatos para entender cómo se complementan. Los datos estructurados se basan en SQL, aplican esquemas estrictos y se pueden buscar fácilmente. Los datos no estructurados no tienen esquema, es difícil hacer búsquedas nativas en ellos y requieren soluciones de data lakes o bases de datos NoSQL. En el medio se encuentran los datos semiestructurados, como JSON o XML, que contienen algunas etiquetas de organización, pero carecen de un esquema relacional rígido.

Para crear el flujo de procesamiento de datos adecuado, conviene saber exactamente con qué tipo de información estás trabajando y cómo la gestionan los equipos de la empresa en las bases de datos de Google Cloud. Los datos no estructurados se pueden dividir en dos categorías principales: los generados por humanos y los generados por máquinas.

Aquí tienes algunos ejemplos del contenido que tus usuarios y empleados crean manualmente todos los días.

• Documentos de texto y comunicaciones: en muchas casos, los datos sin estructurar provienen de cantidades ingentes de correos, mensajes de chat e incidencias del servicio de asistencia
• Caso práctico: los desarrolladores pueden crear un flujo de procesamiento del lenguaje natural (PLN) para que las incidencias de asistencia sin procesar se almacenen en Cloud Storage. Desde ahí, Gemini Enterprise Agent Platform analiza el texto en busca del problema principal y el sistema guarda esas etiquetas recién estructuradas directamente en una base de datos de Firestore. Como Firestore sincroniza los datos al instante, tu aplicación web interna se actualiza en tiempo real y envía los errores urgentes directamente al equipo de ingeniería adecuado.
• Rich media: incluye archivos de audio de centros de llamadas, imágenes subidas por los usuarios y grabaciones de vídeo
• Caso práctico: al desarrollar una aplicación de seguros, necesitas poder procesar las fotos de accidentes de tráfico que los usuarios suben desde sus teléfonos. Puedes guardar esos archivos tan pesados en Cloud Storage, usar un modelo de aprendizaje automático para estimar los daños visuales y, después, almacenar esa estimación de reparación estructurada en una base de datos de AlloyDB para PostgreSQL. De esta forma, tus aplicaciones empresariales convencionales podrán acceder de forma rápida y fiable a los resultados de la IA.

Los ordenadores, los sensores y los servidores generan grandes cantidades de datos en segundo plano sin intervención humana.

• Datos de sensores y telemetría del Internet de las cosas: las máquinas industriales, los termostatos inteligentes y los coches conectados transmiten constantemente datos sin procesar. Gran parte de esa telemetría en bruto llega en formatos complejos, anidados y sin una estructura definida.
• Caso práctico: una planta industrial transmite millones de eventos de audio y sensores sin procesar por segundo. Dado que las tablas relacionales estándar son incapaces de gestionar esa velocidad de procesamiento, los desarrolladores usan Bigtable, que absorbe esos datos de series temporales de alto rendimiento sin retrasos. A continuación, los modelos de ML leen esos datos para detectar el sonido específico de una pieza que está fallando y así poder activar el mantenimiento predictivo antes de que la máquina se averíe.
• Imágenes por satélite y videovigilancia: las cámaras de seguridad y los satélites meteorológicos generan flujos de datos visuales pesados y continuos.
• Caso práctico: una empresa de transporte internacional genera grandes flujos de vídeo por satélite sin procesar. Esos archivos de gran tamaño se almacenan de forma rentable en Cloud Storage para luego identificar los buques de carga mediante visión artificial y enviar esas actualizaciones de ubicación estructuradas a Spanner. Así, consiguen una base de datos relacional de alta precisión y sin periodos de inactividad para que sus aplicaciones relacionadas con la cadena de suministro internacional dispongan de monitorización en tiempo real.

Para crear una aplicación escalable, los desarrolladores pueden vincular sus datos con el entorno de almacenamiento adecuado. Los datos estructurados y no estructurados requieren arquitecturas completamente diferentes para mantener el rendimiento y llevar un control de los costes de infraestructura.

En el caso de los datos estructurados, las empresas recurren a un almacén de datos empresariales (EDW), un entorno creado específicamente para gestionar información sujeta a reglas estrictas y formatos predecibles.

• Con un almacén de datos empresariales, puedes centralizar la información estructurada de varias bases de datos relacionales, incluidos tus sistemas de facturación y herramientas de gestión de relaciones con clientes.
• Tu equipo debe limpiar y dar formato a los datos antes de guardarlos para que cada pieza de información encaje a la perfección en una tabla predefinida.
• Las herramientas de inteligencia empresarial pueden ejecutar consultas de SQL complejas en miles de millones de filas en cuestión de segundos para proporcionar informes históricos y previsiones fiables.

Los datos no estructurados requieren un enfoque mucho más flexible. Dado que los archivos grandes, como los vídeos, las grabaciones de audio y los registros de texto sin procesar, no encajan en tablas ordenadas, los desarrolladores los guardan en data lakes y segmentos de almacenamiento en la nube.

• Un data lake es un repositorio flexible donde puedes almacenar archivos no procesados en sus formatos nativos, sin tener que adaptarlos primero a una estructura específica.
• Los segmentos de Cloud Storage potencian estos data lakes mediante el almacenamiento de objetos, y el sistema es escalable verticalmente hasta alcanzar varios petabytes de capacidad sin que tengas que reconstruir tus bases de datos.
• Almacenar archivos pesados sin estructurar en una base de datos tradicional resulta extremadamente caro, lo que convierte a los segmentos de almacenamiento en una opción mucho más rentable para grandes volúmenes de datos.
• Al conservar los datos en bruto, tus flujos de procesamiento de inteligencia artificial y aprendizaje automático pueden extraer fácilmente los archivos que necesitan para entrenar modelos de visión artificial y de procesamiento del lenguaje natural.

La mayoría de las arquitecturas empresariales acaban por superar la capacidad de una sola plataforma de almacenamiento. A medida que tus sistemas crecen, los data lakes y segmentos de almacenamiento se distribuyen de forma natural entre diferentes regiones y proveedores de servicios en la nube. Esta fragmentación limita la creación de flujos de procesamiento de aprendizaje automático que dependan del acceso a todos tus archivos no estructurados a la vez.

Google Cloud aborda este reto específico a nivel de arquitectura con la nube de datos agéntica, que cuenta con un lakehouse nativo de IA y multinube que conecta tus entornos de almacenamiento distribuido dentro de un único punto de acceso.

• Permite que tus aplicaciones accedan a los archivos de Google Cloud sin tener que copiarlos.
• Tus equipos de desarrollo pueden analizar y procesar la información en su ubicación concreta y ahorrarse costosos flujos de procesamiento para migrar objetos pesados de una nube a otra.
• Esta configuración elimina los silos de datos aislados y prepara toda tu infraestructura para los flujos de trabajo de IA autónomos sin que tengas que depender de un proveedor concreto.

Para sacar provecho de estos archivos complejos, necesitas un framework específico. La inteligencia artificial y el aprendizaje automático pueden servir de base para este proceso, por ejemplo, con un flujo de procesamiento automatizado asistido por IA que ayude a transformar un archivo de vídeo o un documento de texto sin procesar procedente de un bloque ingente de código binario en datos legibles.

Los desarrolladores aplican técnicas de IA específicas para procesar distintos tipos de archivos, por ejemplo:

• Procesamiento del lenguaje natural para leer documentos con mucho texto, como correos, incidencias del servicio de asistencia y contratos
• Visión artificial para analizar imágenes y vídeos, que sirve, por ejemplo, para revisar grabaciones de vigilancia, evaluar imágenes médicas o procesar fotos de satélites
• Modelos de voz a texto para transcribir archivos de audio y poder realizar búsquedas en el texto

A continuación, te detallamos cómo procesan los flujos de IA actuales esta información para impulsar soluciones reales:

1. Recopilan fuentes no estructuradas: los usuarios, los dispositivos y las aplicaciones generan datos en bruto constantemente. Algunos ejemplos habituales son los correos electrónicos con mucho texto, los archivos de vídeo, los flujos de sensores del Internet de las cosas, los PDFs y las publicaciones en redes sociales.
2. Enrutan en la capa de procesamiento de archivos: el sistema recoge los datos entrantes de forma segura y los dirige al destino de almacenamiento correcto. Los desarrolladores suelen recurrir a flujos de procesamiento de datos de gran volumen, pasarelas de APIs o subidas de archivos por lotes para transferir esos datos sin ralentizar la aplicación principal.
3. Mantienen la seguridad en la capa de almacenamiento: el sistema almacena la información de forma segura en función de la rapidez y la frecuencia con la que necesites acceder a ella. Puedes usar Cloud Storage para data lakes sin procesar, Bigtable para registros rápidos de Internet de las cosas o Firestore para contenido flexible de aplicaciones.
4. Analizan en la capa de procesamiento: este es el propósito principal de los modelos de IA. Con ayuda de las herramientas de PLN, visión artificial y conversión de voz a texto mencionadas anteriormente, los modelos de computación especializados leen, analizan e interpretan los archivos de formato libre para extraer el significado.
5. Proporcionan la capa de estadísticas: por último, el sistema transforma los datos procesados en inteligencia empresarial clara y accionable. Al final, obtienes resultados que aportan valor, como evaluaciones del sentimiento de los clientes a partir de las grabaciones del centro de llamadas, clasificaciones automatizadas de documentos para cumplir las normativas y alertas de mantenimiento predictivo de los sensores de la fábrica.
6. Optimización y feedback continuos: las predicciones de IA menos fiables se envían a revisores humanos para que las verifiquen y las corrijan. Los datos corregidos se devuelven al paso 1 en forma de datos de entrenamiento nuevos para mejorar los modelos de IA. El sistema monitoriza constantemente la exactitud y la latencia de los modelos para asegurarse de que la IA no se degrade con el tiempo.

La elección de una solución de gestión depende de tu carga de trabajo específica y de tu trayectoria de crecimiento. Puedes empezar comparando el almacenamiento de archivos on-premise con el almacenamiento de objetos en la nube. A medida que aumenta la complejidad, la elección suele decantarse por un data lake nativo de la nube o una plataforma totalmente gestionada e integrada con IA.

Al evaluar tus opciones, ten en cuenta esta lista de necesidades técnicas:

• Arquitectura de almacenamiento (basada en archivos, almacenamiento de objetos o data lake)
• Escalabilidad a petabytes sin descuidar la rentabilidad
• Integración nativa de IA y aprendizaje automático (PLN, visión artificial, incrustaciones)
• Flexibilidad de NoSQL (Bigtable para cargas de trabajo intensivas en cuanto a rendimiento y Firestore para contenido a nivel de aplicación)
• Funciones de gobernanza de datos, control de acceso y cumplimiento
• Compatibilidad con varios formatos (texto, imagen, vídeo, audio, Internet de las cosas)
• Integración con los almacenes, las herramientas de BI y las plataformas de analíticas que estés usando
• Coste total de propiedad en función de los volúmenes de datos objetivo

A medida que aumentan las cargas de trabajo de la inteligencia artificial, el almacenamiento deja de ser un repositorio pasivo para convertirse en un componente activo de cara a sacarle el máximo rendimiento a la IA. Para eliminar las ralentizaciones de la infraestructura que afectan a los desarrolladores y administradores de bases de datos, Google Cloud ha introducido varias funciones avanzadas de almacenamiento no estructurado.

Si estás diseñando una arquitectura de datos de alto rendimiento, aquí tienes las herramientas específicas que puedes usar para procesar y gestionar formatos no estructurados a gran escala:

• Almacenamiento Inteligente para metadatos automatizados: el Almacenamiento Inteligente genera contexto para tus objetos no estructurados de forma automática, como anotaciones de imágenes, en el momento exacto en que se guardan en el segmento. De esta forma, los desarrolladores pueden prescindir de flujos de procesamiento de anotación manuales y personalizados. Asimismo, integra Model Context Protocol (MCP) en el servidor, de forma que los agentes de IA puedan leer, escribir y analizar tus datos de Cloud Storage de forma nativa.
• Información valiosa extraída de datos no estructurados: esta función de Knowledge Catalog usa Gemini Enterprise Agent Platform para analizar el contenido real de archivos no estructurados sin procesar, como PDFs, que estén almacenados en tu data lake. Infiere esquemas y extrae las relaciones automáticamente, y luego cataloga los archivos no estructurados directamente en tablas de objetos de BigQuery para que puedas consultarlos de inmediato. 
• Cloud Storage Rapid: esta gama de productos de almacenamiento, diseñada específicamente para picos repentinos de procesamiento con IA, ofrece un ancho de banda extremadamente alto y una latencia baja. Rapid Bucket proporciona más de 15 TB/s de ancho de banda, mientras que Rapid Cache potencia el rendimiento de lectura hasta 2,5 TB/s para tareas intensivas como la carga de modelos, sin necesidad de cambiar el código de los segmentos que ya tengas.
• Managed Lustre: si tus equipos de infraestructura están creando clústeres de entrenamiento a gran escala, Managed Lustre de Google Cloud ahora ofrece un rendimiento de hasta 10 TB/s a través de RDMA (Remote Direct Memory Access). Gracias a esto, tus aceleradores de computación de alto rendimiento recibirán constantemente los datos que necesitan sin retrasos. 
• Instancias Z4M: para las empresas que crean arquitecturas de almacenamiento personalizadas, la nueva instancia Z4M admite sistemas de archivos paralelos de confianza con hasta 168 TiB de capacidad de SSD local por instancia.

Al utilizar estas herramientas de almacenamiento específicas, te aseguras de que tu infraestructura subyacente sea totalmente compatible con el enorme rendimiento y la alta simultaneidad que requieren las aplicaciones agénticas modernas.