Corning
Lingaro
Ingénieur Data - Azure
Traduction automatique. Consultez l’original.
Missions
- Développer des pipelines de données pour ingérer des données provenant de diverses sources telles que des bases de données, APIs ou des plateformes de streaming.
- Intégrer et transformer les données pour garantir leur compatibilité avec le modèle ou le format de données cible.
- Concevoir et optimiser des architectures de stockage de données, notamment des data lakes, des data warehouses ou des systèmes de fichiers distribués.
- Mettre en œuvre des techniques telles que le partitionnement, la compression ou l'indexation pour optimiser le stockage et la récupération des données.
- Identifier et résoudre les goulots d'étranglement, optimiser les requêtes et mettre en place des stratégies de mise en cache pour améliorer la vitesse de récupération des données et l'efficacité globale du système.
- Concevoir et mettre en œuvre des modèles de données qui favorisent un stockage, une récupération et une analyse efficaces des données.
- Collaborer avec les data scientists et les analystes pour comprendre leurs besoins et leur fournir des données bien structurées et optimisées à des fins d'analyse et de modélisation.
- Collaborer avec des équipes pluridisciplinaires, incluant des data scientists, des analystes et des parties prenantes métier, pour comprendre leurs besoins et proposer des solutions techniques.
- Communiquer des concepts techniques complexes à des interlocuteurs non techniques de manière claire et concise.
- Autonomie et responsabilité dans la livraison d'une solution.
- Capacité à travailler selon les méthodologies de développement Agile et Scrum.
- Former et accompagner les ingénieurs data juniors, en leur apportant conseils et transfert de connaissances.
- Concevoir et mettre en œuvre des systèmes de traitement de données sur la plateforme Azure. Cela implique l'écriture de code efficace et évolutif pour traiter, transformer et nettoyer de grands volumes de données structurées et non structurées.
- Développer des pipelines de données pour ingérer des données provenant de diverses sources telles que des bases de données, APIs ou des plateformes de streaming.
- Intégrer et transformer les données pour garantir leur compatibilité avec le modèle ou le format de données cible.
- Identifier et résoudre les goulots d'étranglement, optimiser les requêtes et mettre en place des stratégies de mise en cache pour améliorer la vitesse de récupération des données et l'efficacité globale du système.
- Collaborer avec des équipes pluridisciplinaires, incluant des data scientists, des analystes et des parties prenantes métier, pour comprendre leurs besoins et proposer des solutions techniques.
Profil recherché
- Databricks 4/5.
- Apache Spark 4/5.
- Programmation – Data 4/5.
- Développement logiciel pour DE – 4/5.
- Services Azure – 3/5.
- Leadership technique – 3/5.
- Architecture – Traitement de données – 3/5.
- GenAI pour l'ingénierie des données – 3/5.
- Automatisation CI/CD 3/5.
Autres
- 4-6 années d'expérience professionnelle sur un poste similaire.
- Très bon niveau de communication, incluant la capacité à transmettre des informations de manière claire et précise aux collègues et aux parties prenantes métier.
- Expérience de travail avec les méthodologies agiles – outils de support (JIRA, Azure DevOps).
- Autonomie et responsabilité dans la livraison de solutions.
- Capacité à travailler selon les méthodologies agiles.
- Expérience pratique dans la conception et l'optimisation du stockage de données (data lakes, data warehouses, systèmes de fichiers distribués).
- Une expérience ou une familiarité avec d'autres technologies cloud, les data warehouses, la gouvernance des données et l'analyse métier est un plus.
Rémunération : $1 - $2 par mois
