Brasilien
Pavago
Grupo Data
Data Engineer (Mid-Level) – Big Data / Spark
Brasilien
São Paulo, São Paulo, Brazil
PythonJavaSQL
Automatische Übersetzung. Prüfe das Original.
Über die Stelle
Data Engineer (Mid-Level) – Big Data / Spark
Wir suchen einen erfahrenen Data Engineer (Mid-Level) für die Entwicklung, Wartung und Optimierung von Datenverarbeitungslösungen auf der Client Contribution-Plattform. Der/die Kandidat(in) ist verantwortlich für den Aufbau skalierbarer Pipelines, die Sicherstellung der Datenqualität und den Beitrag zur Weiterentwicklung der Big Data-Architektur in einer agilen Umgebung, die auf Best Practices im Engineering ausgerichtet ist.
Aufgaben
- Entwicklung, Wartung und Optimierung von Datenverarbeitungslösungen;
- Konzeption und Entwicklung von ETL- und Datentransformationsprozessen;
- Implementierung und Wartung von Pipelines mit Apache Spark;
- Unterstützung von Initiativen zur Datenintegration zwischen verschiedenen Systemen;
- Analyse und Behebung von datenbezogenen Vorfällen;
- Sicherstellung der Qualität, Leistung und Zuverlässigkeit von Datenlösungen;
- Zusammenarbeit mit multidisziplinären Teams in einer agilen Umgebung.
Obligatorische Anforderungen
- Mindestens 3 Jahre Erfahrung in Data Engineering und Entwicklung;
- Fundierte Kenntnisse in SQL, einschließlich:
- ANSI SQL;
- Hive SQL;
- Spark SQL;
- Erfahrung mit Apache Spark;
- Kenntnisse in mindestens einer der folgenden Sprachen:
- Scala;
- Python;
- Java;
- Erfahrung mit Big Data-Plattformen wie:
- Azure Databricks;
- Amazon EMR;
- Hive;
- Cloudera;
- oder eine andere Spark-basierte Umgebung;
- Erfahrung mit Qlik Sense für die Entwicklung von Berichten und Dashboards;
- Erfahrung in Continuous Integration (CI)-Umgebungen, DevOps und agilen Methoden;
- Kenntnisse in Tools wie:
- Git;
- GitHub;
- SonarQube;
- Nexus;
- Fähigkeit zur Anforderungsanalyse und kollaboratives Arbeiten;
- Englischkenntnisse auf B2-Niveau oder höher.
- Spanischkenntnisse auf B2-Niveau oder höher.
Vorteile
- Interesse oder Erfahrung im Einsatz von KI-Tools im Data Engineering;
- Kenntnisse in der Prozessautomatisierung mit KI;
- Interesse an der Nutzung von Entwicklungsassistenten zur Steigerung der Produktivität, Codequalität und Effizienz analytischer Lösungen.
Bedingungen der Position
- 100% Remote-Arbeit;
- Verfügbarkeit für einen zukünftigen Umzug nach Portugal oder Spanien ist zwingend erforderlich, falls dies aus Projekt-, Unternehmensstrategie- oder rechtlichen Gründen notwendig wird;
- Solange Sie sich in Brasilien aufhalten, wird die Arbeit vollständig im Remote-Regime geleistet;
- Lebensläufe müssen in englischer Sprache eingereicht werden.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen