ambi.
Rhenus Logistics
Ingénieur Données Senior
SQL
Traduction automatique. Consultez l’original.
Ce que vous pouvez attendre
À propos du poste
Nous recherchons un Ingénieur Plateforme Données Azure expérimenté et orienté solution pour développer, exploiter et optimiser notre plateforme de données moderne basée sur Azure. Dans ce rôle, vous vous concentrerez sur Azure, Databricks, l'infrastructure de données et CI/CD, en supportant des environnements multi-locataires et en permettant des solutions de données fiables et évolutives.
Responsabilités principales
- Développer une Plateforme Données Azure Moderne : Concevoir, construire et exploiter des solutions de données de bout en bout en utilisant Azure Data Factory, Azure Data Lake Storage Gen2, Databricks et Azure Synapse Analytics.
- Créer des Pipelines de Données : Développer et maintenir des pipelines ETL/ELT évolutifs en utilisant PySpark et Spark, avec un accent fort sur la qualité des données, la fiabilité et la performance.
- Support Multi-Locataire & Environnements : Supporter et exploiter des plateformes de données multi-locataires à travers plusieurs environnements (développement, test, production) avec une séparation et une gouvernance claires.
- Opérations d'Infrastructure & Plateforme : Provisionner, configurer et maintenir l'infrastructure de données Azure, en assurant la stabilité, la sécurité et l'évolutivité.
- CI/CD pour les Plateformes Données : Construire et maintenir des pipelines CI/CD pour les pipelines de données et les charges de travail Databricks, permettant des déploiements automatisés entre les environnements.
- Utilisation Coût-Efficace & Meilleures Pratiques Azure : Appliquer les meilleures pratiques Azure pour optimiser la performance et les coûts, y compris le dimensionnement des ressources, la gestion du cycle de vie et le suivi des coûts.
- Collaboration avec les Équipes BI & Données : Travailler en étroite collaboration avec les équipes BI et données pour supporter des modèles de données et des solutions de reporting efficaces.
- Gouvernance des Données & Bases de Sécurité : Supporter les exigences de gouvernance des données telles que le contrôle d'accès, la manipulation sécurisée des données et la gestion de métadonnées de base.
Ce que vous apportez
- Expérience Plateforme Données Azure : Plusieurs années d'expérience pratique avec Azure Data Factory, ADLS Gen2, Databricks et Azure Synapse Analytics.
- PySpark & Spark : Solide expérience dans la construction de pipelines de traitement de données distribués en utilisant PySpark et Spark.
- Connaissance ETL / ELT : Compréhension solide des concepts ETL/ELT et des pratiques de modélisation de données.
- CI/CD & Automatisation : Expérience avec les pipelines CI/CD pour les charges de travail de données et automatisation de base des déploiements.
- Compétences SQL : Solides compétences en SQL et expérience dans l'optimisation des requêtes analytiques.
- Formats de Données : Expérience pratique avec Parquet et/ou Avro.
- Conscience de l'Infrastructure : Bonne compréhension de la structure des ressources Azure, des environnements et des meilleures pratiques opérationnelles.
- État d'Esprit Analytique & Orienté Équipe : Approche axée sur les solutions avec la capacité de travailler de manière autonome et en collaboration.
- Compétences Linguistiques : Maîtrise de l'anglais requise ; la connaissance de l'allemand est un avantage.
Note : Il s'agit d'un poste à distance dans l'Union Européenne. Les candidats doivent être basés dans un pays où Rhenus Overland Transport est déjà établi.
