Brésil
SONDA
GFT Technologies SE
Ingénieur(e) Données Senior (Azure) | Hybride/SP - 136209
Brésil
Barueri, São Paulo, Brazil
PythonSQL
Traduction automatique. Consultez l’original.
Ce que nous recherchons
Nous recherchons un(e) Ingénieur(e) Données avec une solide expérience en architecture et ingénierie de données dans des environnements cloud, capable de développer et de maintenir des pipelines évolutifs, fiables et observables. Le professionnel travaillera à la construction et à l'évolution de plateformes de données utilisant une architecture Lakehouse, en plus de contribuer à la gouvernance, à la qualité, à l'intégration et à la mise à disposition des données pour des initiatives analytiques et commerciales.
Assez grand pour livrer – assez petit pour prendre soin.
Responsabilités
- Concevoir, développer et maintenir des pipelines de données batch et streaming en mettant l'accent sur l'évolutivité, la performance et l'observabilité ;
- Implémenter des processus d'ingestion, de transformation et de mise à disposition de données en utilisant Python, PySpark, Spark et SQL ;
- Construire et faire évoluer des couches de données dans une architecture Lakehouse (Bronze, Silver et Gold) ;
- Développer et maintenir des flux ETL/ELT dans des environnements cloud ;
- Implémenter et maintenir des processus d'orchestration de pipelines de données ;
- Participer à l'analyse, au diagnostic et à la résolution de problèmes dans les pipelines et applications de données ;
- Effectuer l'optimisation des performances et la correction d'incidents dans les solutions de données ;
- Implémenter des politiques, processus et outils de gouvernance des données, en promouvant la standardisation et la responsabilisation sur les données ;
- Utiliser et faire évoluer des solutions basées sur Azure Data Factory, Airflow, Databricks et Data Lake ;
- Développer des intégrations entre systèmes via APIs REST et d'autres sources de données ;
- Appliquer les bonnes pratiques de modélisation de données pour les Data Lakes et les environnements analytiques ;
- Collaborer avec les équipes produit, ingénierie, données et métier dans la définition et l'implémentation de solutions techniques ;
- Garantir la qualité, la cohérence, la traçabilité et la réutilisation des actifs de données ;
- Agir de manière proactive dans la maintenance et l'évolution de la plateforme de données.
Prérequis Obligatoires
- Expérience préalable en tant qu'Ingénieur(e) Données ;
- Expérience solide avec Python, PySpark et SQL ;
- Connaissance avancée de Azure Data Factory, Airflow, Databricks et Data Lake ;
- Expérience en architecture de données et construction de solutions analytiques ;
- Expérience avec Git Flow et contrôle de version ;
- Connaissance des tests unitaires et fonctionnels (Unittest, Pytest ou similaires) ;
- Expérience avec des bases de données relationnelles comme SQL Server, Oracle ou équivalents ;
- Expérience dans l'implémentation et la maintenance de processus ETL/ELT ;
- Connaissance en modélisation de données pour les Data Lakes et l'architecture Lakehouse ;
- Expérience avec les couches Bronze, Silver et Gold ou des structures équivalentes ;
- Expérience dans l'intégration et la consommation de APIs REST ;
- Expérience pratique dans des environnements Cloud, avec un focus sur Azure ;
- Expérience avec le traitement de données en batch et en streaming ;
- Connaissance des outils de streaming de données, tels que Kafka ;
- Capacité à travailler dans des environnements dynamiques, avec de multiples demandes et une gestion simultanée des priorités.
Prérequis Différenciants
- Certifications Databricks et/ou Microsoft Azure ;
- Expérience avec l'architecture orientée événements et les solutions basées sur le streaming ;
- Connaissance en sécurité et confidentialité des données ;
- Expérience dans des environnements à haute criticité et à grand volume de traitement ;
- Connaissance des pratiques DevOps et de l'implémentation de pipelines CI/CD pour des projets de données ;
- Expérience avec les outils d'observabilité, de monitoring, de qualité et de lignage des données.
Description comportementale
Nous recherchons une personne qui :
- Aime travailler en équipe et est collaborative dans ses missions ;
- A le courage de se challenger et d'aller plus loin, en saisissant de nouvelles opportunités de croissance ;
- Transforme les idées en solutions créatives et recherche la qualité dans sa routine ;
- Possède des compétences en résolution de problèmes ;
- A la capacité et se sent à l'aise pour travailler de manière autonome et gérer son propre temps ;
- S'intéresse à la gestion de situations adverses et innovantes dans le domaine technologique.
#VempraGFT #VamosVoarJuntos #ProudToBeGFT
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil