Corning
Lingaro
Ingeniero de datos - Azure
Traducción automática. Consulta el original.
Tareas
- Construcción de pipelines de datos para ingerir información desde diversas fuentes, como bases de datos, APIs o plataformas de streaming.
- Integración y transformación de datos para asegurar su compatibilidad con el modelo o formato de datos de destino.
- Diseño y optimización de arquitecturas de almacenamiento de datos, incluyendo data lakes, data warehouses o sistemas de archivos distribuidos.
- Implementación de técnicas como particionado, compresión o indexación para optimizar el almacenamiento y la recuperación de datos.
- Identificación y resolución de cuellos de botella, ajuste de consultas e implementación de estrategias de caché para mejorar la velocidad de recuperación de datos y la eficiencia general del sistema.
- Diseño e implementación de modelos de datos que soporten un almacenamiento, recuperación y análisis de datos eficientes.
- Colaboración con científicos y analistas de datos para comprender sus necesidades y proporcionarles datos bien estructurados y optimizados para fines de análisis y modelado.
- Colaboración con equipos multidisciplinares, incluyendo científicos de datos, analistas y partes interesadas del negocio, para comprender sus requisitos y proporcionar soluciones técnicas.
- Comunicación de conceptos técnicos complejos a partes interesadas no técnicas de manera clara y concisa.
- Independencia y responsabilidad en la entrega de soluciones.
- Capacidad para trabajar bajo metodologías de desarrollo Agile y Scrum.
- Formación y mentoría a ingenieros de datos junior, proporcionando orientación y transferencia de conocimientos.
- Diseño e implementación de sistemas de procesamiento de datos en la plataforma Azure. Esto implica escribir código eficiente y escalable para procesar, transformar y limpiar grandes volúmenes de datos estructurados y no estructurados.
- Construcción de pipelines de datos para ingerir información desde diversas fuentes, como bases de datos, APIs o plataformas de streaming.
- Integración y transformación de datos para asegurar su compatibilidad con el modelo o formato de datos de destino.
- Identificación y resolución de cuellos de botella, ajuste de consultas e implementación de estrategias de caché para mejorar la velocidad de recuperación de datos y la eficiencia general del sistema.
- Colaboración con equipos multidisciplinares, incluyendo científicos de datos, analistas y partes interesadas del negocio, para comprender sus requisitos y proporcionar soluciones técnicas.
Lo que buscamos
- Databricks 4/5.
- Apache Spark 4/5.
- Programación – Datos 4/5.
- Desarrollo de software para DE – 4/5.
- Servicios Azure – 3/5.
- Liderazgo técnico – 3/5.
- Arquitectura – Procesamiento de datos – 3/5.
- GenAI para ingeniería de datos – 3/5.
- Automatización CI/CD 3/5.
Otros
- 4-6 años de experiencia profesional en un puesto similar.
- Muy buen nivel de comunicación, incluyendo la capacidad de transmitir información de forma clara y específica a compañeros y partes interesadas del negocio.
- Experiencia trabajando con metodologías ágiles – herramientas de soporte (JIRA, Azure DevOps).
- Independencia y responsabilidad en la entrega de soluciones.
- Capacidad para trabajar bajo metodologías ágiles.
- Experiencia práctica en el diseño y optimización de almacenamiento de datos (data lakes, data warehouses, sistemas de archivos distribuidos).
- Se valorará la experiencia o familiaridad con otras tecnologías en la nube, data warehouses, gobierno de datos y análisis de negocio.
\n \n $1 - $2 al mes \n
