Vereinigtes Königreich
Bjak
N Consulting Ltd
Data Engineer - AWS
Vereinigtes Königreich
Northampton, England, United Kingdom
PythonSQLAWSTerraform
Automatische Übersetzung. Prüfe das Original.
Stellenübersicht
AWS Data Engineer (PySpark)
Wir suchen einen erfahrenen AWS Data Engineer mit starken PySpark-Kenntnissen, um skalierbare Datenpipelines und Cloud-basierte Datenplattformen zu entwerfen, zu entwickeln und zu optimieren. Der ideale Kandidat verfügt über praktische Erfahrung im Aufbau von ETL/ELT-Lösungen auf AWS, der Verarbeitung großer Datensätze mit Spark und der Implementierung von Best Practices im Data Engineering.
Standort: Northampton - 3 Tage vor Ort (Hybrid-Modus)
Anstellungsart: Vertrag
Gehalt: 100 - 350 GBP pro Tag
Erforderliche Kenntnisse
Erfahrung: 5+ Jahre
- 5+ Jahre Erfahrung im Data Engineering.
- Starke praktische Erfahrung mit PySpark und Apache Spark.
- Umfangreiche Erfahrung mit AWS Cloud Services:
- S3
- Glue
- EMR
- Redshift
- Athena
- Lambda
- IAM
- CloudWatch
- Starke Programmierkenntnisse in Python.
- Fortgeschrittene SQL-Entwicklungs- und Abfrageoptimierungsfähigkeiten.
- Erfahrung im Aufbau von groß angelegten ETL/ELT-Pipelines.
- Kenntnisse in Data Warehousing und dimensionalem Datenmodell.
- Erfahrung mit Git und CI/CD-Praktiken.
Hauptverantwortlichkeiten
- Entwicklung und Wartung skalierbarer Datenpipelines unter Verwendung von PySpark und AWS-Diensten.
- Erstellung robuster ETL/ELT-Workflows für die Aufnahme, Transformation und das Laden von Daten aus mehreren Quellen.
- Entwurf und Verwaltung von Data Lakes und Data Warehouse-Lösungen auf AWS.
- Arbeit mit AWS-Diensten wie S3, Glue, EMR, Redshift, Lambda, Athena, IAM und CloudWatch.
- Optimierung von Spark-Jobs hinsichtlich Leistung, Skalierbarkeit und Kosteneffizienz.
- Implementierung von Datenqualitäts-, Validierungs- und Überwachungsprozessen.
- Zusammenarbeit mit Business Stakeholdern, Analysten und Architekten zur Bereitstellung von Datenlösungen.
- Unterstützung von Produktions-Deployments, Fehlerbehebung und Leistungsoptimierung.
- Pflege der technischen Dokumentation und Einhaltung von Data Governance-Standards.
Bevorzugte Kenntnisse
- Erfahrung mit Databricks.
- Kenntnisse in Apache Airflow oder AWS Step Functions.
- Erfahrung mit Kafka oder Echtzeit-Datenverarbeitung.
- Kenntnisse in Terraform und Infrastructure as Code (IaC).
- Erfahrung mit Snowflake oder Lakehouse-Architekturen.
- AWS-Zertifizierung ist sehr wünschenswert.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen