Portugal
Capgemini
Sigma Software
Ingeniero de Datos Senior (Migración a Databricks)
Portugal
Lisbon, Portugal
PythonSQLAWSGCP
Traducción automática. Consulta el original.
Descripción de la Empresa
¿Eres un Ingeniero de Datos Senior apasionado por construir plataformas de datos escalables y de alto rendimiento, y por trabajar con tecnologías modernas de Lakehouse? Únete al Centro de Excelencia de Ingeniería de Datos de Sigma Software y contribuye a la modernización de un ecosistema analítico a escala empresarial para el dominio minorista.
Buscamos un especialista Senior con sólida experiencia en Databricks, PySpark e ingeniería de datos en la nube para participar en la migración de una plataforma analítica a gran escala de BigQuery a Databricks. Colaborarás con equipos internacionales, contribuirás a las decisiones arquitectónicas y ayudarás a dar forma a soluciones de datos fiables y escalables.
En Sigma Software creamos oportunidades para el aprendizaje continuo, el crecimiento tecnológico y un impacto significativo en la ingeniería, mientras trabajamos en complejos proyectos internacionales.
PROYECTO
El proyecto se centra en la migración estratégica de una plataforma analítica a gran escala de un ecosistema heredado de BigQuery a una arquitectura moderna de Lakehouse Databricks. La plataforma procesa conjuntos de datos minoristas de alto volumen, cargas de trabajo de machine learning, canalizaciones de análisis y lógica empresarial específica del cliente.
Como parte de la iniciativa de modernización, el equipo de ingeniería está implementando procesamiento escalable basado en Spark, arquitectura Delta Lake, capas de datos medallion y prácticas modernas de gobernanza. El puesto ofrece la oportunidad de trabajar con sistemas de procesamiento de datos distribuidos, optimizar cargas de trabajo a gran escala y contribuir a la evolución de una plataforma de datos de nivel empresarial.
Tecnologías Clave: Databricks, Apache Spark, PySpark, Delta Lake, Python, SQL, Airflow, GCP, CI/CD, Unity Catalog
CLIENTE
Nuestro Cliente es una empresa líder en tecnología minorista especializada en soluciones de optimización de precios impulsadas por IA para minoristas empresariales. La empresa ayuda a las empresas a mejorar la rentabilidad y la competitividad a través de análisis avanzados, automatización y estrategias de precios inteligentes. Su plataforma combina inteligencia empresarial con algoritmos sofisticados para respaldar decisiones de precios basadas en datos a escala para organizaciones minoristas globales.
Descripción del Puesto
- Participar en la migración de una plataforma analítica a gran escala de BigQuery a Databricks
- Diseñar e implementar arquitecturas escalables de Lakehouse utilizando Databricks y Delta Lake
- Analizar flujos de trabajo ETL / ELT existentes y definir enfoques de migración
- Desarrollar y optimizar canalizaciones de datos que procesan grandes volúmenes de datos minoristas y analíticos
- Implementar estrategias de procesamiento incremental y marcos de transformación escalables
- Construir y mantener soluciones de procesamiento de datos basadas en Spark utilizando PySpark
- Diseñar y mantener capas de arquitectura medallion, incluyendo Bronce, Plata y Oro
- Implementar las mejores prácticas de gobernanza y seguridad de datos utilizando Unity Catalog
- Colaborar con los equipos de Ciencia de Datos, Análisis, Producto e Ingeniería de Clientes
- Participar en discusiones de arquitectura y diseño de soluciones técnicas
- Desarrollar componentes reutilizables de la plataforma de datos y estándares de ingeniería
- Realizar revisiones de código y contribuir a la fiabilidad y mantenibilidad de la plataforma
- Solucionar problemas y optimizar cargas de trabajo complejas de SQL y Spark
- Soportar despliegues en producción y actividades de modernización de la plataforma
Cualificaciones
- 5+ años de experiencia profesional como Ingeniero de Datos
- Sólidas habilidades de programación en Python y SQL avanzado
- Experiencia comercial práctica con Databricks
- Sólidos conocimientos de Apache Spark, principalmente PySpark
- Experiencia en el diseño y la construcción de plataformas de datos modernas basadas en la nube
- Experiencia en el desarrollo de canalizaciones ETL / ELT y soluciones de procesamiento de datos a gran escala
- Experiencia práctica con Delta Lake
- Experiencia con Canalizaciones Declarativas de Spark
- Experiencia en monitorización de clústeres, análisis de métricas y optimización del rendimiento
- Sólida comprensión de las arquitecturas de procesamiento de datos distribuidos
- Sólida comprensión de los conceptos de almacén de datos y modelado dimensional
- Experiencia con Airflow o herramientas de orquestación similares
- Experiencia en la optimización de cargas de trabajo analíticas complejas de SQL
- Experiencia en la implementación de prácticas de CI / CD para plataformas de ingeniería de datos
- Sólidas habilidades de resolución de problemas y optimización del rendimiento
- Capacidad para trabajar en colaboración en equipos internacionales multifuncionales
- Nivel de inglés intermedio-alto o superior
SERÁ UN PLUS
- Experiencia trabajando con servicios en la nube de GCP
- Experiencia con plataformas en la nube de AWS o Azure
- Experiencia en análisis minorista o dominios de optimización de precios
- Experiencia en el soporte de cargas de trabajo de datos relacionadas con machine learning o IA
- Experiencia con iniciativas de modernización de plataformas y migración a la nube
Información Adicional
PERFIL PERSONAL
- Mentalidad analítica y de resolución de problemas
- Enfoque proactivo y de propiedad
- Capacidad para trabajar de forma independiente y colaborativa
- Buenas habilidades de comunicación y colaboración con las partes interesadas
- Pasión por la ingeniería de datos escalable y las plataformas de datos modernas
- Interés en el aprendizaje continuo y la innovación tecnológica
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil