Portugal
ambi.
Chain IQ
Engenheiro(a) Sênior de Plataforma de Dados
Portugal
Lisbon, Portugal
PythonSQLAWSGCPTerraform
Tradução automática. Consulte o original.
Sobre a oportunidade
Na Chain IQ, suas ideias se movem rápido.
Informações para agências: Candidaturas enviadas ou carregadas por agências de colocação ou similares não são desejadas, portanto não serão consideradas e serão excluídas.
Chain IQ é um Parceiro Global de Serviços de Procurement impulsionado por IA, com sede em Baar, Suíça, e operações nos principais centros e 16 escritórios em todo o mundo. Oferecemos soluções de procurement personalizadas e ponta a ponta que possibilitam transformação, impulsionam escalabilidade e entregam reduções substanciais nos gastos indiretos de nossos clientes. Nossa cultura é construída sobre inovação, empreendedorismo, propriedade e impacto. Aqui, sua voz importa - o pensamento ousado é encorajado e a ação segue a ambição.
Propósito da função
Estamos construindo uma plataforma de dados modular e de nível empresarial, alimentada por Databricks, projetada para entregar dados confiáveis e governados por meio de múltiplos canais de consumo, incluindo analytics, APIs, streaming e soluções de knowledge graph. A plataforma é construída sobre um modelo de dados canônico compartilhado e enfatiza escalabilidade, governança, privacidade e uma mentalidade de Dados como Produto. Como Engenheiro(a) Sênior de Plataforma de Dados, você desempenhará um papel fundamental no design e na evolução da plataforma em ingestão, governança, modelagem de dados e produtos de dados. Esta é uma função prática, com alta responsabilidade, focada na construção de capacidades reutilizáveis da plataforma, permitindo acesso confiável a dados em escala e impulsionando as melhores práticas de engenharia em todo o ecossistema de dados.
Chain IQ – Crie. Lidere. Cause impacto.
Responsabilidades
- Desenvolver e manter padrões de ingestão modular que suportem fontes de dados em batch, baseadas em API e orientadas a eventos (ex: JDBC, conectores SaaS/ERP, Kafka, CDC).
- Estabelecer frameworks de ingestão reutilizáveis (orientados a metadados, quando possível) que permitam a incorporação rápida e consistente de novas fontes de dados.
- Construir e otimizar pipelines de dados baseados em Databricks (Spark, Delta Live Tables/Lakeflow) através da arquitetura medallion (Bronze, Silver, Gold).
- Implementar e evoluir capacidades de governança de dados, incluindo controles de acesso, linhagem, catalogação, auditoria, classificação de dados e conformidade de privacidade.
- Definir e impor padrões de qualidade de dados, contratos de dados, monitoramento e alertas nas camadas de ingestão e transformação.
- Implementar soluções de proteção e privacidade de dados, incluindo mascaramento, tokenização, pseudonimização e outras técnicas de anonimização apropriadas para atender aos requisitos regulatórios (ex: GDPR).
- Construir, possuir e evoluir produtos de dados alinhados a um modelo de dados canônico, garantindo propriedade clara, SLAs e documentação.
- Colaborar com equipes de domínio para integrar dados de origem ao modelo canônico, preservando nuances específicas do domínio.
- Promover uma abordagem de Dados como Produto: descoberta, autoatendimento, versionamento e contratos voltados para o consumidor.
- Construir e manter camadas de consumo e serviço de dados, incluindo datasets de BI/analytics, APIs (REST/GraphQL) e extensões orientadas a casos de uso, como saídas de streaming ou representações de knowledge graph.
- Impulsionar padrões técnicos e direção da plataforma em CI/CD, Infraestrutura como Código, testes, observabilidade e otimização de custos.
- Mentorar engenheiros e colaborar com stakeholders de governança, segurança, arquitetura e negócios.
Requisitos
- Aproximadamente 6+ anos de experiência em engenharia de dados, com 2+ anos projetando/operando plataformas Lakehouse baseadas em Databricks em escala de produção.
- Experiência prática com Apache Spark e Delta Lake; experiência com Delta Live Tables/Lakeflow Declarative Pipelines é um forte diferencial.
- Experiência prática com Unity Catalog (ou equivalente) para controle de acesso, linhagem e catalogação.
- Experiência comprovada na implementação de técnicas de anonimização/pseudonimização de dados em um ambiente regulamentado.
- Sólido entendimento de modelagem de dados canônica/conforme (ex: data vault, modelagem dimensional, design orientado a domínio para dados).
- Histórico de exposição de dados via APIs (REST/GraphQL) - projetando esquemas, contratos e versionamento para consumidores externos/internos.
- Proficiência em Python e/ou Scala, SQL e infraestrutura como código (Terraform preferencial).
- Forte compreensão de frameworks de governança de dados, regulamentação de privacidade de dados (GDPR/CCPA) e práticas de segurança de dados.
- Experiência com plataformas de nuvem (Azure, AWS ou GCP) e seus serviços nativos de dados/eventos.
Diferenciais
- Exposição a Structured Streaming ou ingestão orientada a eventos (Kafka, ferramentas de CDC como Debezium) - não é um requisito principal, mas útil à medida que a plataforma amaduurece.
- Familiaridade com conceitos de knowledge graph (ex: RDF/property graphs, Neo4j, camadas de grafos em Spark) - um plus em vez de uma expectativa.
- Experiência com arquiteturas de data mesh ou produtos de dados federados.
- Experiência com ferramentas de gerenciamento/catálogo de metadados além do Unity Catalog (ex: OpenMetadata, Collibra, Purview).
- Exposição a MLOps ou padrões de feature store em Databricks.
- Certificações relevantes (Profissional de Engenharia de Dados Databricks, certificações de arquitetura de nuvem).
Junte-se a uma equipe verdadeiramente global.
Oferecemos um ambiente dinâmico e internacional onde o alto desempenho encontra um propósito real. Temos orgulho de ser certificados como Great Place to Work e ainda mais orgulho das pessoas que tornam isso possível. Vamos moldar o futuro do procurement - juntos.
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil
