Portugal
Gamdom
Sigma Software
Engenheiro de Dados Sênior (Migração Databricks)
Portugal
Lisbon, Portugal
PythonSQLAWSGCP
Tradução automática. Consulte o original.
Sobre a Empresa
Você é um Engenheiro de Dados Sênior apaixonado por construir plataformas de dados escaláveis e de alta performance, e por trabalhar com tecnologias modernas de Lakehouse? Junte-se ao Centro de Excelência em Engenharia de Dados da Sigma Software e contribua para a modernização de um ecossistema analítico em escala empresarial para o domínio de varejo.
Estamos procurando um especialista Sênior com forte experiência em Databricks, PySpark e engenharia de dados na nuvem para participar da migração de uma plataforma analítica em larga escala de BigQuery para Databricks. Você colaborará com equipes internacionais, contribuirá para decisões arquiteturais e ajudará a moldar soluções de dados confiáveis e escaláveis.
Na Sigma Software, criamos oportunidades para aprendizado contínuo, crescimento tecnológico e impacto significativo em engenharia, enquanto trabalhamos em projetos internacionais complexos.
PROJETO
O projeto foca na migração estratégica de uma plataforma analítica em larga escala de um ecossistema legado BigQuery para uma arquitetura moderna de Lakehouse Databricks. A plataforma processa grandes volumes de dados de varejo, cargas de trabalho de machine learning, pipelines de análise e lógica de negócios específica do cliente.
Como parte da iniciativa de modernização, a equipe de engenharia está implementando processamento escalável baseado em Spark, arquitetura Delta Lake, camadas de dados medallion e práticas modernas de governança. A função oferece uma oportunidade de trabalhar com sistemas de processamento de dados distribuídos, otimizar cargas de trabalho em larga escala e contribuir para a evolução de uma plataforma de dados em nível empresarial.
Tecnologias Chave: Databricks, Apache Spark, PySpark, Delta Lake, Python, SQL, Airflow, GCP, CI/CD, Unity Catalog
CLIENTE
Nosso Cliente é uma empresa líder em tecnologia de varejo especializada em soluções de otimização de preços baseadas em IA para grandes varejistas. A empresa ajuda negócios a melhorar a lucratividade e a competitividade por meio de análise avançada, automação e estratégias de precificação inteligentes. Sua plataforma combina inteligência de negócios com algoritmos sofisticados para suportar decisões de precificação baseadas em dados em escala para organizações globais de varejo.
Descrição da Vaga
- Participar da migração de uma plataforma analítica em larga escala de BigQuery para Databricks
- Projetar e implementar arquiteturas escaláveis de Lakehouse usando Databricks e Delta Lake
- Analisar cargas de trabalho ETL / ELT existentes e definir abordagens de migração
- Desenvolver e otimizar pipelines de dados que processam grandes volumes de dados de varejo e analíticos
- Implementar estratégias de processamento incremental e frameworks de transformação escaláveis
- Construir e manter soluções de processamento de dados baseadas em Spark usando PySpark
- Projetar e manter camadas de arquitetura medallion, incluindo Bronze, Silver e Gold
- Implementar melhores práticas de governança e segurança de dados usando Unity Catalog
- Colaborar com equipes de Data Science, Analytics, Produto e Engenharia de Clientes
- Participar de discussões de arquitetura e design de soluções técnicas
- Desenvolver componentes reutilizáveis da plataforma de dados e padrões de engenharia
- Realizar revisões de código e contribuir para a confiabilidade e manutenibilidade da plataforma
- Solucionar e otimizar cargas de trabalho complexas de SQL e Spark
- Apoiar implantações em produção e atividades de modernização da plataforma
Qualificações
- 5+ anos de experiência profissional como Engenheiro de Dados
- Fortes habilidades de programação em Python e SQL avançado
- Experiência comercial prática com Databricks
- Forte conhecimento de Apache Spark, principalmente PySpark
- Experiência em projetar e construir plataformas de dados modernas baseadas na nuvem
- Experiência no desenvolvimento de pipelines ETL / ELT e soluções de processamento de dados em larga escala
- Experiência prática com Delta Lake
- Experiência com Pipelines Declarativos de Spark
- Experiência com monitoramento de cluster, análise de métricas e otimização de performance
- Forte compreensão de arquiteturas de processamento de dados distribuídos
- Sólida compreensão de conceitos de data warehousing e modelagem dimensional
- Experiência com Airflow ou ferramentas de orquestração similares
- Experiência na otimização de cargas de trabalho analíticas complexas de SQL
- Experiência na implementação de práticas de CI / CD para plataformas de engenharia de dados
- Fortes habilidades de solução de problemas e otimização de performance
- Capacidade de trabalhar colaborativamente em equipes internacionais multifuncionais
- Nível de inglês Intermediário Superior ou avançado
SERÁ UM DIFERENCIAL
- Experiência trabalhando com serviços de nuvem GCP
- Experiência com plataformas de nuvem AWS ou Azure
- Experiência em análise de varejo ou domínios de otimização de preços
- Experiência no suporte a cargas de trabalho de machine learning ou relacionadas a IA
- Experiência com modernização de plataforma e iniciativas de migração para nuvem
Informações Adicionais
PERFIL PESSOAL
- Forte mentalidade analítica e de resolução de problemas
- Abordagem proativa e orientada à responsabilidade
- Capacidade de trabalhar de forma independente e colaborativa
- Boas habilidades de comunicação e colaboração com stakeholders
- Paixão por engenharia de dados escalável e plataformas de dados modernas
- Interesse em aprendizado contínuo e inovação tecnológica
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil