Cummins
Softgic
Ingeniero de Datos Senior – Calidad y Observabilidad de Datos | 1789
Sobre la oportunidad
¿Te apasiona construir plataformas de datos fiables y escalables y mejorar la calidad de los datos a nivel empresarial? Buscamos un Ingeniero de Datos Senior – Calidad y Observabilidad de Datos para liderar la implementación de un marco moderno de calidad de datos, permitiendo a los equipos de ingeniería detectar, monitorizar y prevenir problemas de datos antes de que afecten a las operaciones comerciales.
En este puesto, impulsarás la implementación de prácticas de calidad de datos propiedad de ingeniería, operacionalizarás GX Core, establecerás estándares de validación y construirás soluciones de observabilidad que mejoren la confianza en los informes, los procesos de sincronización y los flujos de trabajo operativos.
Responsabilidades
- Diseñar e implementar un marco de calidad de datos escalable en toda la plataforma.
- Liderar la implementación y operacionalización de GX Core (Great Expectations) como el marco principal de validación de datos.
- Desarrollar y mantener reglas reutilizables de calidad de datos utilizando un enfoque de Regla como Código (Rule-as-Code).
- Crear comprobaciones de validación automatizadas para conjuntos de datos y flujos de trabajo críticos para el negocio.
- Implementar soluciones de observabilidad de datos, monitorización, alertas e informes.
- Definir y mantener la linaje de datos (data lineage) a través de dominios de negocio clave.
- Diseñar procesos de validación para la completitud, precisión, integridad, consistencia, conciliación, frescura y detección de anomalías de los datos.
- Integrar las validaciones de calidad de datos en las canalizaciones de CI/CD y los procesos de lanzamiento.
- Desarrollar paneles (dashboards) e informes para monitorizar las tendencias de calidad de datos y el estado operativo.
- Investigar las causas raíz de los problemas recurrentes de datos e implementar soluciones preventivas.
- Colaborar con los equipos de Ingeniería de Datos, Ingeniería de Aplicaciones, QA, Producto y Soporte para establecer la propiedad y la gobernanza de la calidad de los datos.
- Definir estándares para la gobernanza, la frecuencia de validación, los flujos de trabajo de remediación y las métricas de calidad.
- Mejorar continuamente los procesos de calidad de datos y establecer las mejores prácticas de observabilidad a largo plazo.
Requisitos
- 5+ años de experiencia como Ingeniero de Datos o en roles similares de ingeniería de datos.
- Experiencia sólida en el diseño e implementación de marcos empresariales de Calidad de Datos.
- Experiencia práctica con GX Core (Great Expectations) o herramientas similares como Soda.
- Sólidas habilidades en SQL y experiencia trabajando con Aurora PostgreSQL y Amazon Redshift.
- Experiencia en el diseño de reglas de validación de datos, procesos de conciliación y soluciones de observabilidad.
- Experiencia en la construcción y mantenimiento de canalizaciones ETL y flujos de trabajo de datos a gran escala.
- Sólida comprensión del modelado de datos, la integridad referencial, la sincronización y el procesamiento por lotes.
- Experiencia en la integración de la validación de datos en canalizaciones de CI/CD.
- Experiencia con Git y mejores prácticas de ingeniería como Regla como Código (Rule-as-Code).
- Experiencia en la construcción de paneles, alertas e informes para la monitorización operativa.
- Sólidas habilidades analíticas y de resolución de problemas con experiencia en el análisis de causa raíz.
- Experiencia en la colaboración con equipos de ingeniería multifuncionales.
- Excelentes habilidades de comunicación y documentación.
Qué Ofrecemos
- ? Puesto totalmente remoto.
- ? Oportunidad de construir soluciones de calidad y observabilidad de datos a escala empresarial.
- ? Puesto de alto impacto con propiedad sobre la estrategia de calidad de datos y las mejores prácticas de ingeniería.
- ? Entorno colaborativo trabajando junto a los equipos de Ingeniería de Datos, QA, Producto e Ingeniería de Aplicaciones.
- ? Oportunidad de trabajar con tecnologías modernas de validación de datos, observabilidad y datos en la nube, al tiempo que se impulsa la mejora continua en toda la plataforma.
