Portugal
ambi.
Chain IQ
Ingeniero Senior de Plataforma de Datos
Portugal
Lisbon, Portugal
PythonSQLAWSGCPTerraform
Traducción automática. Consulta el original.
Sobre la oportunidad
En Chain IQ, tus ideas se mueven rápido.
Información para agencias: Las solicitudes enviadas o cargadas por agencias de colocación o similares no son deseadas, por lo tanto, no se considerarán y se eliminarán.
Chain IQ es un Proveedor de Servicios de Adquisiciones global impulsado por IA, con sede en Baar, Suiza, y operaciones en los principales centros y 16 oficinas en todo el mundo. Ofrecemos soluciones de adquisición integrales y personalizadas que permiten la transformación, impulsan la escalabilidad y logran reducciones sustanciales en el gasto indirecto de nuestros clientes. Nuestra cultura se basa en la innovación, el espíritu empresarial, la propiedad y el impacto. Aquí, tu voz importa: se fomenta el pensamiento audaz y la acción sigue a la ambición.
Propósito del puesto
Estamos construyendo una plataforma de datos modular de nivel empresarial impulsada por Databricks, diseñada para ofrecer datos confiables y gobernados a través de múltiples canales de consumo, incluyendo análisis, APIs, streaming y soluciones de grafos de conocimiento. La plataforma se basa en un modelo de datos canónico compartido y enfatiza la escalabilidad, la gobernanza, la privacidad y una mentalidad de Datos como Producto. Como Ingeniero Senior de Plataforma de Datos, desempeñarás un papel clave en el diseño y la evolución de la plataforma en la ingesta, gobernanza, modelado de datos y productos de datos. Este es un puesto práctico y de alta responsabilidad centrado en la creación de capacidades de plataforma reutilizables, la habilitación del acceso a datos confiables a escala y la promoción de las mejores prácticas de ingeniería en todo el ecosistema de datos.
Chain IQ – Crea. Lidera. Genera impacto.
Responsabilidades
- Desarrollar y mantener patrones de ingesta modulares que soporten fuentes de datos por lotes, basadas en API y orientadas a eventos (por ejemplo, JDBC, conectores SaaS/ERP, Kafka, CDC).
- Establecer marcos de ingesta reutilizables (basados en metadatos cuando sea posible) que permitan la incorporación rápida y consistente de nuevas fuentes de datos.
- Construir y optimizar canalizaciones de datos basadas en Databricks (Spark, Tablas Delta Live/Lakeflow) a través de la arquitectura medallion (Bronce, Plata, Oro).
- Implementar y evolucionar capacidades de gobernanza de datos, incluyendo controles de acceso, linaje, catalogación, auditoría, clasificación de datos y cumplimiento de privacidad.
- Definir y aplicar estándares de calidad de datos, contratos de datos, monitorización y alertas en las capas de ingesta y transformación.
- Implementar soluciones de protección y privacidad de datos, incluyendo enmascaramiento, tokenización, seudonimización y otras técnicas de anonimización apropiadas para cumplir con los requisitos regulatorios (por ejemplo, GDPR).
- Construir, poseer y evolucionar productos de datos alineados con un modelo de datos canónico, asegurando una propiedad clara, SLAs y documentación.
- Colaborar con los equipos de dominio para integrar datos de origen en el modelo canónico, preservando al mismo tiempo los matices específicos del dominio.
- Promover un enfoque de Datos como Producto: descubribilidad, autoservicio, versionado y contratos orientados al consumidor.
- Construir y mantener capas de consumo y servicio de datos, incluyendo conjuntos de datos de BI/analítica, APIs (REST/GraphQL), y extensiones impulsadas por casos de uso como salidas de streaming o representaciones de grafos de conocimiento.
- Impulsar estándares técnicos y dirección de plataforma en CI/CD, Infraestructura como Código, pruebas, observabilidad y optimización de costos.
- Mentorizar a ingenieros y asociarse con partes interesadas de gobernanza, seguridad, arquitectura y negocio.
Requisitos
- Alrededor de 6+ años de experiencia en ingeniería de datos, con 2+ años diseñando/operando plataformas Lakehouse basadas en Databricks a escala de producción.
- Experiencia práctica con Apache Spark y Delta Lake; la experiencia con Tablas Delta Live/Canalizaciones Declarativas Lakeflow es una gran ventaja.
- Experiencia práctica con el Catálogo Unity (o equivalente) para control de acceso, linaje y catalogación.
- Experiencia demostrada en la implementación de técnicas de anonimización/seudonimización de datos en un entorno regulado.
- Sólida comprensión del modelado de datos canónico/conforme (por ejemplo, data vault, modelado dimensional, diseño de dominio para datos).
- Historial de exposición de datos a través de APIs (REST/GraphQL) - diseño de esquemas, contratos y versionado para consumidores externos/internos.
- Competente en Python y/o Scala, SQL, e infraestructura como código (Terraform preferido).
- Fuerte conocimiento de marcos de gobernanza de datos, regulación de privacidad de datos (GDPR/CCPA) y prácticas de seguridad de datos.
- Experiencia con plataformas en la nube (Azure, AWS, o GCP) y sus servicios nativos de datos/eventos.
Agradable tener
- Exposición a Structured Streaming o ingesta orientada a eventos (Kafka, herramientas CDC como Debezium) - no es un requisito principal, pero útil a medida que la plataforma madura.
- Familiaridad con conceptos de grafos de conocimiento (por ejemplo, RDF/grafos de propiedades, Neo4j, capas de grafos en Spark) - una ventaja en lugar de una expectativa.
- Experiencia con arquitecturas de data mesh o productos de datos federados.
- Experiencia con herramientas de gestión de metadatos/catálogo más allá del Catálogo Unity (por ejemplo, OpenMetadata, Collibra, Purview).
- Exposición a patrones MLOps o feature store en Databricks.
- Certificaciones relevantes (Ingeniero de Datos Profesional Databricks, certificaciones de arquitectura en la nube).
Únete a un equipo verdaderamente global.
Ofrecemos un entorno dinámico e internacional donde el alto rendimiento se une a un propósito real. Estamos orgullosos de tener la certificación Great Place to Work y aún más orgullosos de las personas que lo hacen posible. Demos forma al futuro de las adquisiciones, juntos.
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil
