Royaume-Uni
AKA
N Consulting Ltd
Ingénieur Data - AWS
Royaume-Uni
Northampton, England, United Kingdom
PythonSQLAWSTerraform
Traduction automatique. Consultez l’original.
Résumé du poste
Ingénieur Data AWS (PySpark)
Nous recherchons un Ingénieur Data AWS expérimenté avec une solide expertise PySpark pour concevoir, développer et optimiser des pipelines de données évolutifs et des plateformes de données basées sur le cloud. Le candidat idéal aura une expérience pratique dans la construction de solutions ETL/ELT sur AWS, le traitement de grands ensembles de données à l'aide de Spark, et la mise en œuvre des meilleures pratiques en ingénierie de données.
Lieu : Northampton - 3 Jours sur Site (Mode Hybride)
Type de contrat : Contractuel
Salaire : 100 - 350 GBP Par jour
Compétences requises
Expérience : 5+ Ans
- 5+ années d'expérience en Ingénierie de Données.
- Solide expérience pratique avec PySpark et Apache Spark.
- Expérience approfondie avec les services AWS Cloud :
- S3
- Glue
- EMR
- Redshift
- Athena
- Lambda
- IAM
- CloudWatch
- Solides compétences en programmation en Python.
- Compétences avancées en développement SQL et optimisation de requêtes.
- Expérience dans la construction de pipelines ETL/ELT à grande échelle.
- Connaissance de l'entrepôt de données et de la modélisation dimensionnelle des données.
- Expérience avec Git et les pratiques CI/CD.
Responsabilités clés
- Développer et maintenir des pipelines de données évolutifs en utilisant PySpark et les services AWS.
- Construire des flux de travail ETL/ELT robustes pour l'ingestion, la transformation et le chargement de données provenant de plusieurs sources.
- Concevoir et gérer des lacs de données et des solutions d'entrepôt de données sur AWS.
- Travailler avec les services AWS tels que S3, Glue, EMR, Redshift, Lambda, Athena, IAM et CloudWatch.
- Optimiser les jobs Spark pour la performance, l'évolutivité et l'efficacité des coûts.
- Mettre en œuvre des processus de qualité des données, de validation et de surveillance.
- Collaborer avec les parties prenantes métier, les analystes et les architectes pour fournir des solutions de données.
- Assister les déploiements en production, le dépannage et l'optimisation des performances.
- Maintenir la documentation technique et suivre les normes de gouvernance des données.
Compétences souhaitées
- Expérience avec Databricks.
- Connaissance d'Apache Airflow ou des fonctions AWS Step Functions.
- Expérience avec Kafka ou le traitement de données en temps réel.
- Exposition à Terraform et à l'Infrastructure as Code (IaC).
- Expérience avec Snowflake ou les architectures Lakehouse.
- Une certification AWS est hautement souhaitable.
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil