Portugal
ambi.
Associação Porto Digital
Data Engineer
Portugal
Porto, Portugal
PythonSQLDocker
Automatische Übersetzung. Prüfe das Original.
Über die Stelle
Die Associação Porto Digital, eine gemeinnützige Privatorganisation mit Sitz in Porto, die seit über 20 Jahren besteht und wächst, sucht einen Data Engineer.
Der gesuchte Fachmann berichtet an den Koordinator des Bereichs Datenarchitektur und Künstliche Intelligenz und wird Teil eines hybriden Arbeitsteams (Präsenz- und Fernarbeit). Der Arbeitsvertrag ist zunächst befristet mit der Möglichkeit der Verlängerung und/oder unbefristet, je nach gezeigter Erfahrung.
Werden Sie Teil der Associação Porto Digital als Data Engineer und treiben Sie die städtische digitale Transformation in Porto voran. Verbessern Sie öffentliche Dienstleistungen, beeinflussen Sie das Leben der Bürger und tragen Sie zur nachhaltigen Entwicklung bei.
AUFGABEN
Hauptaktivitäten/Aufgaben:
- Entwurf, Entwicklung und Wartung von Datenpipelines (Batch und Streaming) für strukturierte und unstrukturierte Daten.
- Entwicklung und Optimierung von ETL-Prozessen unter Verwendung von Programmiersprachen wie Python und/oder SQL.
- Arbeit mit Open-Source-Technologien zur Datenverarbeitung, -integration und -speicherung (z. B. Spark, Kafka, NiFi, Airflow) in einer On-Premises-Umgebung.
- Verwaltung und Optimierung von Datenbanken zur Gewährleistung von Leistung, Integrität und Verfügbarkeit.
- Sicherstellung der Datenqualität, -integrität und -zuverlässigkeit über den gesamten Lebenszyklus (Validierung, Überwachung und Tests).
- Entwurf und Verbesserung von Datenarchitekturen unter Gewährleistung von Leistung, Skalierbarkeit und Sicherheit.
- Verbindung zwischen Data Scientists, Data Analysts und Künstlicher Intelligenz herstellen, indem Bedürfnisse in technische Anforderungen und Datenverarbeitung übersetzt werden;
- Verbesserung der städtischen Plattform der Stadt Porto durch Schaffung neuer Wege zur Steigerung des Werts und der Qualität der gesammelten und genutzten Daten für Entscheidungen mit Auswirkungen auf die Lebensqualität der Gemeinschaft.
ANFORDERUNGEN
Ausbildung
- Ausbildung in Informatik, Datenanalyse, Computerwissenschaften, Elektrotechnik und Computertechnik oder ähnlichem.
Qualifikationen
- Mindestens 3 Jahre Erfahrung in Data Engineering, Entwicklung von Datenplattformen oder ähnlichen Bereichen.
- Gute Kenntnisse in SQL und Erfahrung mit relationalen und analytischen Datenbanken.
- Erfahrung in der Entwicklung von ETL/ELT-Pipelines zur Datenintegration, -transformation und -bereitstellung.
- Gute Kenntnisse in Python zur Datenverarbeitung, Automatisierung und Systemintegration.
- Praktische Erfahrung mit Apache Kafka, einschließlich Verständnis von Topics, Partitionen, Schlüsseln, Consumer Groups, Offsets, Retention und Replay-Mechanismen.
- Verständnis der wichtigsten Herausforderungen bei der Echtzeit-Datenverarbeitung, insbesondere Sortierung, Duplizierung, Idempotenz, Latenz, Fehlerbehandlung und Schemaentwicklung.
- Erfahrung mit Pipeline-Orchestrierungstools wie Apache Airflow oder Äquivalenten.
- Kenntnisse in Datenmodellierung, Data Warehouses, Data Lakes und Lakehouse-Architekturen.
- Erfahrung in der Implementierung von inkrementellen Prozessen, Qualitätskontrolle und Überwachung von Pipelines.
- Vertrautheit mit Git, Code-Review-Prozessen und Continuous Integration/Continuous Delivery (CI/CD)-Praktiken.
- Kenntnisse in Docker und Prinzipien der Entwicklung und des Betriebs von Diensten in verteilten Umgebungen.
- Gute Englischkenntnisse.
Persönliche und organisatorische Kompetenzen
- Autonomie, Proaktivität und Verantwortungsbewusstsein.
- Gute analytische Fähigkeiten und strukturierte Problemlösungskompetenz.
- Fähigkeit, einfache, wiederverwendbare und nachhaltige Lösungen zu entwerfen und isolierte Entwicklungen pro Anwendungsfall zu vermeiden.
- Organisationstalent, Sorgfalt und Liebe zum Detail.
- Ausrichtung auf Qualität, Zuverlässigkeit und kontinuierliche Verbesserung.
- Fähigkeit zur Diagnose von Problemen in Pipelines und verteilten Systemen.
- Fähigkeit zur Arbeit in multidisziplinären Teams und zur Zusammenarbeit mit technischen und funktionalen Profilen.
- Gute Kommunikationsfähigkeiten und Fähigkeit, technische Entscheidungen klar zu erklären.
- Fähigkeit zur Dokumentation von Prozessen und zur Förderung des Wissensaustauschs.
- Ergebnisorientierung und Termintreue.
- Interesse an der Arbeit mit verschiedenen städtischen Domänen wie Mobilität, Wirtschaft, Umwelt, Territorium und kommunalen Dienstleistungen.
- Ausrichtung auf die Schaffung von Mehrwert für die Stadt Porto und ihre Bürger.
Von Vorteil
- Erfahrung mit ClickHouse oder anderen spaltenorientierten Datenbanken und mit dbt.
- Kenntnisse in Apache NiFi, Change Data Capture mit Debezium oder Stream-Verarbeitung mit Flink/Kafka Streams.
- Vertrautheit mit Lakehouse-Architekturen, Apache Iceberg, Parquet und Objektspeichern.
- Erfahrung mit geografischen Daten, PostGIS oder GIS-Systemen.
- Kenntnisse in FIWARE, NGSI-LD, Orion-LD, Datenkatalogen oder Data Lineage-Mechanismen.
LEISTUNGEN
- Flexible Arbeitszeiten
- Verpflegungszuschuss
- Krankenversicherung
- Mobiltelefon und Kommunikationsdienst
- APP ANDA
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen
