Estados Unidos
Redwood Materials
Zurich Insurance Company Ltd.
Engenheiro(a) de Dados - Databricks
Estados Unidos
Ciudad de México, Mexico · New Mexico, United States
PythonSQL
Tradução automática. Consulte o original.
Sobre a oportunidade
#ZCC Atualmente, o Zurich Capability Center está contratando um(a):
Engenheiro(a) de Dados - Databricks
Responsabilidades
Como Engenheiro(a) de Dados, suas principais tarefas envolverão:
- Projetar, construir e manter pipelines de dados escaláveis usando Databricks e plataformas de dados baseadas em nuvem.
- Desenvolver, otimizar e automatizar processos ETL/ELT para suportar iniciativas de análise, relatórios e machine learning.
- Trabalhar em estreita colaboração com Cientistas de Dados, Analistas, Engenheiros de ML e stakeholders de negócios para entender os requisitos de dados e entregar conjuntos de dados confiáveis.
- Implementar frameworks de ingestão de dados de múltiplas fontes de dados estruturadas e não estruturadas.
- Construir e manter modelos de dados, data lakes e data warehouses que suportem as necessidades de análise corporativa.
- Garantir a qualidade, consistência, governança e segurança dos dados em todas as plataformas.
- Otimizar cargas de trabalho Spark e ambientes Databricks para desempenho e eficiência de custo.
- Apoiar a implantação e operacionalização de soluções de machine learning fornecendo conjuntos de dados prontos para produção e pipelines de recursos.
- Colaborar com equipes de Azure, TI e DevOps para implementar as melhores práticas de CI/CD e DataOps.
- Monitorar, solucionar problemas e melhorar continuamente o desempenho e a confiabilidade da plataforma de dados.
Suas Habilidades e Experiência
Como Engenheiro(a) de Dados, suas habilidades e experiência incluirão idealmente:
Requisitos
- Graduação em Ciência da Computação, Engenharia, Sistemas de Informação, Matemática ou área relacionada.
- 3+ anos de experiência em Engenharia de Dados, Data Warehousing ou ambientes de Big Data.
- Fortes habilidades de programação em Python e SQL.
- Experiência prática com Databricks, Apache Spark e processamento de dados distribuído.
- Experiência em projetar e desenvolver pipelines de dados ETL/ELT.
- Experiência trabalhando com Data Lakes e arquiteturas de dados modernas.
- Compreensão de conceitos de modelagem de dados, incluindo Star Schema e Modelagem Dimensional.
- Experiência trabalhando com Git e sistemas de controle de versão.
- Fortes habilidades analíticas e de resolução de problemas.
- Nível de inglês B2 ou superior.
Qualificações Preferenciais
- Experiência com serviços da Plataforma de Dados Azure, incluindo:
- Azure Databricks
- Azure Data Factory
- Azure Data Lake Storage
- Azure Synapse Analytics
- Azure DevOps
- Experiência trabalhando com Delta Lake e arquitetura Lakehouse.
- Conhecimento de ferramentas de orquestração como Airflow, Workflows Databricks ou Azure Data Factory.
- Experiência no suporte a casos de uso de Machine Learning e práticas de MLOps.
- Familiaridade com MLflow e processos de implantação de modelos.
- Conhecimento de CI/CD, Infraestrutura como Código e práticas de DataOps.
- Experiência com tecnologias de streaming como Kafka ou Event Hubs.
- Experiência trabalhando em ambientes Ágeis.
- Experiência na indústria de seguros é um diferencial.
Diferenciais
- Experiência em colaboração com equipes de Ciência de Dados e suporte a iniciativas de IA/ML.
- Conhecimento de IA Generativa, pipelines de dados LLM, bancos de dados vetoriais e fluxos de trabalho de embedding.
- Experiência com Unity Catalog, governança de dados e gerenciamento de metadados.
- Exposição a arquiteturas nativas da nuvem e plataformas de dados em escala corporativa.
*
Se você se interessou, candidate-se diretamente por este link ou envie seu currículo para nathalia.huerta@mx.zurich.com [nathalia.huerta@mx.zurich.com].
Vaga disponível apenas para candidatos residentes na Cidade do México, Estado do México ou Guadalajara. Candidate-se apenas se você reside em uma dessas áreas.
Quem somos
Procurando um ambiente de trabalho desafiador e inspirador onde você possa fazer a diferença? Na Zurich, milhões de indivíduos e empresas confiam em nossos produtos e serviços todos os dias. Nossos 53,000 funcionários em todo o mundo formam a base do nosso sucesso, permitindo que empresas e comunidades enfrentem um mundo de riscos com confiança. Imagine se você pudesse ajudar as pessoas a fazer isso em todo o mundo. Você lhes daria confiança e segurança, protegendo o que elas mais amam. É um grande desafio, mas você será apoiado por uma equipe de classe mundial que acredita em ajudá-lo a atingir seu potencial máximo e cumprir nossas promessas. Então, seja desafiado. Seja inspirado. Ajude-nos a fazer a diferença.
Na Zurich, somos um empregador que oferece igualdade de oportunidades. Atraímos e retemos os melhores indivíduos qualificados disponíveis, sem distinção de raça/ etnia, religião, gênero, orientação sexual, idade ou deficiência.
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil