Brasilien
SONDA
GFT Technologies SE
Senior Data Engineer (Azure) | Hybrid/SP - 136209
Brasilien
Barueri, São Paulo, Brazil
PythonSQL
Automatische Übersetzung. Prüfe das Original.
Was wir suchen
Wir suchen einen Dateningenieur mit fundierter Erfahrung in Cloud-Datenarchitektur und -technik, der in der Lage ist, skalierbare, zuverlässige und beobachtbare Datenpipelines zu entwickeln und zu warten. Die Person wird am Aufbau und der Weiterentwicklung von Datenplattformen unter Verwendung der Lakehouse-Architektur beteiligt sein und zur Daten-Governance, -Qualität, -Integration und -Bereitstellung für analytische und geschäftliche Initiativen beitragen.
Big enough to deliver – small enough to care.
Aufgaben
- Entwurf, Entwicklung und Wartung von Batch- und Streaming-Datenpipelines mit Fokus auf Skalierbarkeit, Leistung und Beobachtbarkeit;
- Implementierung von Datenerfassungs-, Transformations- und Bereitstellungsprozessen unter Verwendung von Python, PySpark, Spark und SQL;
- Aufbau und Weiterentwicklung von Datenebenen in der Lakehouse-Architektur (Bronze, Silver und Gold);
- Entwicklung und Wartung von ETL/ELT-Workflows in Cloud-Umgebungen;
- Implementierung und Wartung von Orchestrierungsprozessen für Datenpipelines;
- Analyse, Diagnose und Behebung von Problemen in Datenpipelines und -anwendungen;
- Leistungsoptimierung und Behebung von Störungen in Datenlösungen;
- Implementierung von Data-Governance-Richtlinien, -Prozessen und -Tools zur Förderung von Standardisierung und Verantwortlichkeit für Daten;
- Nutzung und Weiterentwicklung von Lösungen auf Basis von Azure Data Factory, Airflow, Databricks und Data Lake;
- Entwicklung von Integrationen zwischen Systemen über APIs REST und andere Datenquellen;
- Anwendung von Best Practices für Datenmodellierung für Data Lakes und analytische Umgebungen;
- Zusammenarbeit mit Produkt-, Engineering-, Daten- und Geschäftsbereichen bei der Definition und Implementierung technischer Lösungen;
- Sicherstellung von Qualität, Konsistenz, Nachverfolgbarkeit und Wiederverwendbarkeit von Datenassets;
- Proaktive Beteiligung an der Wartung und Weiterentwicklung der Datenplattform.
Erforderliche Qualifikationen
- Vorerfahrung als Dateningenieur;
- Fundierte Erfahrung mit Python, PySpark und SQL;
- Fortgeschrittene Kenntnisse in Azure Data Factory, Airflow, Databricks und Data Lake;
- Erfahrung in Datenarchitektur und Aufbau analytischer Lösungen;
- Erfahrung mit Git Flow und Versionskontrolle;
- Kenntnisse in Unit- und Funktionstests (Unittest, Pytest oder ähnliches);
- Erfahrung mit relationalen Datenbanken wie SQL Server, Oracle oder Äquivalenten;
- Erfahrung in der Implementierung und Wartung von ETL/ELT-Prozessen;
- Kenntnisse in Datenmodellierung für Data Lakes und Lakehouse-Architektur;
- Erfahrung mit Bronze-, Silver- und Gold-Schichten oder äquivalenten Strukturen;
- Erfahrung in der Integration und dem Konsum von APIs REST;
- Praktische Erfahrung in Cloud-Umgebungen mit Fokus auf Azure;
- Erfahrung mit Batch- und Streaming-Datenverarbeitung;
- Kenntnisse in Datenstreaming-Tools wie Kafka;
- Fähigkeit, in dynamischen Umgebungen mit mehreren Anforderungen und gleichzeitiger Prioritätenverwaltung zu arbeiten.
Zusätzliche Qualifikationen
- Zertifizierungen für Databricks und/oder Microsoft Azure;
- Erfahrung mit ereignisgesteuerter Architektur und Streaming-basierten Lösungen;
- Kenntnisse in Datensicherheit und Datenschutz;
- Erfahrung in Umgebungen mit hoher Kritikalität und großem Verarbeitungsvolumen;
- Kenntnisse in DevOps-Praktiken und Implementierung von CI/CD-Pipelines für Datenprojekte;
- Erfahrung mit Tools für Beobachtbarkeit, Überwachung, Qualität und Daten-Lineage.
Verhaltensbeschreibung
Wir suchen eine Person, die:
- Gerne im Team arbeitet und kooperativ bei ihren Aufgaben ist;
- Mut hat, sich selbst herauszufordern und über sich hinauszuwachsen, indem sie neue Wachstumschancen ergreift;
- Ideen in kreative Lösungen umwandelt und in ihrem gesamten Arbeitsalltag nach Qualität strebt;
- Problemlösungsfähigkeiten besitzt;
- Fähigkeit besitzt und sich wohlfühlt, selbstständig zu arbeiten und die eigene Zeit zu managen;
- Interesse daran hat, sich mit widrigen und innovativen Situationen im technologischen Bereich auseinanderzusetzen.
#VempraGFT #VamosVoarJuntos #ProudToBeGFT
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen