Portugal
Capgemini
Sigma Software
Ingeniero de Datos Senior (Migración a Databricks)
Portugal
Lisbon, Portugal
PythonSQLAWSGCP
Traducción automática. Consulta el original.
Descripción de la Empresa
¿Eres un Ingeniero de Datos Senior apasionado por construir plataformas de datos escalables y de alto rendimiento, y por trabajar con tecnologías modernas de Lakehouse? Únete al Centro de Excelencia de Ingeniería de Datos de Sigma Software y contribuye a la modernización de un ecosistema analítico a escala empresarial para el dominio minorista.
Buscamos un especialista Senior con sólida experiencia en Databricks, PySpark e ingeniería de datos en la nube para participar en la migración de una plataforma analítica a gran escala de BigQuery a Databricks. Colaborarás con equipos internacionales, contribuirás a las decisiones arquitectónicas y ayudarás a dar forma a soluciones de datos fiables y escalables.
En Sigma Software creamos oportunidades para el aprendizaje continuo, el crecimiento tecnológico y un impacto de ingeniería significativo mientras trabajamos en complejos proyectos internacionales.
PROYECTO
El proyecto se centra en la migración estratégica de una plataforma analítica a gran escala de un ecosistema heredado de BigQuery a una arquitectura moderna de Lakehouse Databricks. La plataforma procesa conjuntos de datos minoristas de alto volumen, cargas de trabajo de machine learning, pipelines de análisis y lógica de negocio específica del cliente.
Como parte de la iniciativa de modernización, el equipo de ingeniería está implementando procesamiento escalable basado en Spark, arquitectura Delta Lake, capas de datos de medallón y prácticas modernas de gobernanza. El puesto ofrece la oportunidad de trabajar con sistemas de procesamiento de datos distribuidos, optimizar cargas de trabajo a gran escala y contribuir a la evolución de una plataforma de datos de nivel empresarial.
Tecnologías clave: Databricks, Apache Spark, PySpark, Delta Lake, Python, SQL, Airflow, GCP, CI/CD, Unity Catalog
CLIENTE
Nuestro Cliente es una empresa líder en tecnología minorista especializada en soluciones de optimización de precios impulsadas por IA para minoristas empresariales. La empresa ayuda a las empresas a mejorar la rentabilidad y la competitividad a través de análisis avanzados, automatización y estrategias de precios inteligentes. Su plataforma combina inteligencia empresarial con algoritmos sofisticados para respaldar decisiones de precios basadas en datos a escala para organizaciones minoristas globales.
Descripción del Puesto
- Participar en la migración de una plataforma analítica a gran escala de BigQuery a Databricks
- Diseñar e implementar arquitecturas escalables de Lakehouse utilizando Databricks y Delta Lake
- Analizar cargas de trabajo ETL / ELT existentes y definir enfoques de migración
- Desarrollar y optimizar pipelines de datos que procesan grandes volúmenes de datos minoristas y analíticos
- Implementar estrategias de procesamiento incremental y marcos de transformación escalables
- Construir y mantener soluciones de procesamiento de datos basadas en Spark utilizando PySpark
- Diseñar y mantener capas de arquitectura de medallón, incluyendo Bronce, Plata y Oro
- Implementar las mejores prácticas de gobernanza y seguridad de datos utilizando Unity Catalog
- Colaborar con los equipos de Ciencia de Datos, Análisis, Producto e Ingeniería de Clientes
- Participar en discusiones de arquitectura y diseño de soluciones técnicas
- Desarrollar componentes reutilizables de la plataforma de datos y estándares de ingeniería
- Realizar revisiones de código y contribuir a la fiabilidad y mantenibilidad de la plataforma
- Solucionar problemas y optimizar cargas de trabajo complejas de SQL y Spark
- Soportar despliegues en producción y actividades de modernización de la plataforma
Cualificaciones
- 5+ años de experiencia profesional como Ingeniero de Datos
- Sólidas habilidades de programación en Python y SQL avanzado
- Experiencia comercial práctica con Databricks
- Sólido conocimiento de Apache Spark, principalmente PySpark
- Experiencia en el diseño y construcción de plataformas de datos modernas basadas en la nube
- Experiencia en el desarrollo de pipelines ETL / ELT y soluciones de procesamiento de datos a gran escala
- Experiencia práctica con Delta Lake
- Experiencia con Pipelines Declarativos de Spark
- Experiencia con monitorización de clústeres, análisis de métricas y optimización de rendimiento
- Sólida comprensión de las arquitecturas de procesamiento de datos distribuidos
- Sólida comprensión de los conceptos de data warehousing y modelado dimensional
- Experiencia con Airflow o herramientas de orquestación similares
- Experiencia en la optimización de cargas de trabajo analíticas complejas de SQL
- Experiencia en la implementación de prácticas de CI / CD para plataformas de ingeniería de datos
- Sólidas habilidades de resolución de problemas y optimización de rendimiento
- Capacidad para trabajar en colaboración en equipos internacionales multifuncionales
- Nivel de inglés intermedio-alto o superior
SERÁ UN PLUS
- Experiencia trabajando con servicios en la nube de GCP
- Experiencia con plataformas en la nube de AWS o Azure
- Experiencia en dominios de análisis minorista u optimización de precios
- Experiencia en el soporte de cargas de trabajo de datos relacionadas con machine learning o IA
- Experiencia con iniciativas de modernización de plataformas y migración a la nube
Información Adicional
PERFIL PERSONAL
- Mentalidad analítica y de resolución de problemas
- Enfoque proactivo y de propiedad
- Capacidad para trabajar de forma independiente y colaborativa
- Buenas habilidades de comunicación y colaboración con las partes interesadas
- Pasión por la ingeniería de datos escalable y las plataformas de datos modernas
- Interés en el aprendizaje continuo y la innovación tecnológica
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil