Pasos posteriores a la implementación
En esta página, se explica el proceso posterior a la implementación de Cortex Framework para ejecutar tus canalizaciones de datos y verificar los resultados.
Después de la implementación, todas las plantillas y configuraciones de transformación se compilan y se implementan en tu repositorio de Dataform de destino. Sin embargo, para materializar las tablas y las vistas en BigQuery, primero debes ejecutar las acciones de la canalización de Dataform.
Ejecuta las transformaciones en Dataform
Cuando ejecutas la canalización, inicias la lógica para transformar los datos sin procesar en las capas de base de datos y de productos de datos pertinentes, listas para el uso comercial inmediato.
Puedes ejecutar acciones de forma manual en la Google Cloud consola de para realizar la verificación o configurar programas recurrentes para la producción.
Ejecución manual para la verificación
Para ejecutar una verificación manual de toda la canalización en tu espacio de trabajo de Dataform, sigue estos pasos:
- En la Google Cloud consola de, ve a la página Dataform.
- Confirma que seleccionaste el proyecto correcto Google Cloud en el menú desplegable del proyecto.
- Haz clic en el nombre del repositorio creado durante la implementación (p.ej.,
cortex). - Haz clic en el nombre del espacio de trabajo (p.ej.,
cortex). - Haz clic en Iniciar ejecución.
- Haz clic en Ejecutar acciones.
- Selecciona Todas las acciones. También puedes elegir subconjuntos clave de transformaciones seleccionando etiquetas o acciones específicas.
- Haz clic en Iniciar ejecución.
Verifica el éxito de la ejecución
Para supervisar el progreso y verificar si la canalización se completó correctamente, sigue estos pasos:
- Haz clic en la pestaña Ejecuciones para ver el historial de ejecución.
- Verifica que el estado sea Completado correctamente.
- Haz clic en el vínculo de ejecución para inspeccionar los detalles de acciones específicas, errores de compilación o tiempos de ejecución.
Revisa los recursos de datos en BigQuery
Después de que se ejecute correctamente tu canalización de Dataform, verifica los conjuntos de datos generados y observa las tablas materializadas en BigQuery.
- Navega a BigQuery en la Google Cloud consola de.
- Ubica los conjuntos de datos de destino configurados en tu archivo
config.yaml(p.ej., el conjunto de datos identificado pordatasetIden la entradadata.targetsa la que hace referencia eldataTargetIddel módulo). Por ejemplo, en las configuraciones de la plantilla, estos pueden ser los siguientes:- Capa de base de datos: Busca el conjunto de datos que coincida con tu ID de destino de base (configurado como
cortex7_sap_data_foundationde forma predeterminada). - Capa de productos de datos: Busca el conjunto de datos que coincida con tu ID de destino de producto (configurado como
cortex7_data_productsde forma predeterminada).
- Capa de base de datos: Busca el conjunto de datos que coincida con tu ID de destino de base (configurado como
- Obtén una vista previa de las tablas y ejecuta consultas de muestra para verificar que se propaguen con los registros esperados.
Próximos pasos
Ahora que tus sistemas de datos están operativos, puedes explorar lo siguiente:
- Registra tus productos de datos en Knowledge Catalog: Consulta la documentación de integración de Knowledge Catalog] (/cortex/docs/knowledge-catalog) para automatizar el proceso de registro.
- Extiende tu modelo de datos: Consulta la guía de extensibilidad para personalizar esquemas o crear instancias de módulos nuevos.
- Crea productos de datos nuevos o personalízalos: Consulta la documentación de habilidades de agentes para la creación de productos de datos para comenzar.