Portugal
ambi.
Associação Porto Digital
Data Engineer
Portugal
Porto, Portugal
PythonSQLDocker
Traduction automatique. Consultez l’original.
À propos du poste
L'Associação Porto Digital, une organisation privée à but non lucratif, basée à Porto et forte de plus de 20 années d'existence, est en pleine croissance et souhaite recruter un Data Engineer.
Le professionnel recruté reportera au Coordinateur de l'Architecture des Données et de l'Intelligence Artificielle et rejoindra une équipe de travail hybride (présentiel et télétravail). Le contrat de travail sera initialement à durée déterminée, avec possibilité de renouvellement et/ou de transformation en contrat à durée indéterminée selon l'expérience démontrée.
Rejoignez l'Associação Porto Digital en tant que Data Engineer et impulsionez la transformation numérique urbaine à Porto. Améliorez les services publics, impactez la vie des citoyens et contribuez au développement durable.
MISSIONS
Activités/tâches principales à réaliser :
- Concevoir, développer et maintenir des pipelines de données (batch et streaming) pour des données structurées et non structurées.
- Développer et optimiser des processus ETL à l'aide de langages de programmation tels que Python et/ou SQL.
- Travailler avec des technologies open source pour le traitement, l'intégration et le stockage de données (ex. : Spark, Kafka, NiFi, Airflow) en environnement on-premises.
- Gérer et optimiser les bases de données en assurant performance, intégrité et disponibilité.
- Garantir la qualité, l'intégrité et la fiabilité des données tout au long du cycle de vie (validation, monitoring et tests).
- Concevoir et améliorer les architectures de données en assurant performance, scalabilité et sécurité.
- Assurer la liaison entre les Data Scientists, les Data Analysts et l'Intelligence Artificielle, en transcrivant les besoins en exigences techniques et en traitement de données.
- Améliorer la Plateforme Urbaine de la ville de Porto, en créant de nouvelles façons d'accroître la valeur et la qualité des données collectées et utilisées pour la prise de décision ayant un impact sur la qualité de vie de la communauté.
PROFIL RECHERCHÉ
Formation
- Formation en Ingénierie Informatique, Analyse de Données, Informatique, Ingénierie Électrique et Informatique ou domaines similaires.
Qualifications
- Expérience minimale de 3 ans dans des fonctions de Data Engineering, développement de plateformes de données ou domaines similaires.
- Bonnes connaissances de SQL et expérience avec des bases de données relationnelles et analytiques.
- Expérience dans le développement de pipelines ETL/ELT pour l'intégration, la transformation et la mise à disposition de données.
- Bonnes connaissances de Python pour le traitement de données, l'automatisation et l'intégration de systèmes.
- Expérience pratique avec Apache Kafka, y compris la compréhension des topics, partitions, clés, consumer groups, offsets, rétention et mécanismes de replay.
- Compréhension des principaux défis du traitement de données en temps réel, notamment le tri, la duplication, l'idempotence, la latence, la gestion des erreurs et l'évolution des schémas.
- Expérience avec des outils d'orchestration de pipelines, tels qu'Apache Airflow ou équivalents.
- Connaissances en modélisation de données, data warehouses, data lakes et architectures lakehouse.
- Expérience dans la mise en œuvre de processus incrémentaux, de contrôle qualité et de monitoring de pipelines.
- Familiarité avec Git, les processus de revue de code et les pratiques d'intégration et de livraison continues.
- Connaissances de Docker et des principes de développement et d'exploitation de services dans des environnements distribués.
- Bonnes connaissances de l'anglais.
Compétences personnelles et organisationnelles
- Autonomie, proactivité et sens des responsabilités.
- Bonne capacité d'analyse et de résolution structurée de problèmes.
- Capacité à concevoir des solutions simples, réutilisables et durables, en évitant les développements isolés par cas d'usage.
- Organisation, rigueur et attention aux détails.
- Orientation vers la qualité, la fiabilité et l'amélioration continue.
- Capacité à diagnostiquer des problèmes dans des pipelines et systèmes distribués.
- Capacité à travailler en équipes multidisciplinaires et à collaborer avec des profils techniques et fonctionnels.
- Bonne communication et capacité à expliquer clairement les décisions techniques.
- Capacité à documenter les processus et à promouvoir le partage des connaissances.
- Orientation vers les résultats et le respect des délais.
- Intérêt pour le travail avec différents domaines urbains, tels que la mobilité, l'économie, l'environnement, le territoire et les services municipaux.
- Orientation vers la création de valeur pour la ville de Porto et ses citoyens.
Atouts supplémentaires
- Expérience avec ClickHouse ou d'autres bases de données colonnaires et avec dbt.
- Connaissances d'Apache NiFi, Change Data Capture avec Debezium ou traitement de flux avec Flink/Kafka Streams.
- Familiarité avec les architectures lakehouse, Apache Iceberg, Parquet et le stockage objet.
- Expérience avec les données géographiques, PostGIS ou les systèmes SIG.
- Connaissances de FIWARE, NGSI-LD, Orion-LD, catalogues de données ou mécanismes de lignage de données.
AVANTAGES
- Horaires flexibles
- Indemnité de repas
- Assurance santé
- Téléphone portable et service de communication
- APP ANDA
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil
