Portugal
ambi.
Block Labs
Data Platform Engineer
RemotePortugal
Lisbon, Portugal
SQLAWSKubernetesTerraform
Automatische Übersetzung. Prüfe das Original.
Über Block
Labs Block Labs ist ein führendes Technologie-Studio, das an der Spitze von Web3, künstlicher Intelligenz und iGaming operiert. Wir liefern nicht nur Features; wir entwickeln hochskalierbare, produktionsreife Plattformen, die die nächste Generation digitaler Produkte antreiben.
Wir sind ein Kollektiv aus erfahrenen Ingenieuren, Produktstrategen und Machern, die sich weigern, bei der Architektur Kompromisse einzugehen. Egal, ob wir autonome Multi-Agenten-KI-Systeme entwerfen, dezentrale Finanzinfrastrukturen aufbauen oder Hochfrequenz-iGaming-Plattformen entwickeln, unser Standard ist Exzellenz.
Wir bewegen uns schnell, aber wir bauen für die lange Frist. Wenn Sie mit einem Team zusammenarbeiten möchten, das tiefes technisches Fachwissen, durchdachtes Systemdesign und Produktverantwortung schätzt, sind Sie bei Block Labs richtig.
Die Rolle
Daten & Intelligenz stehen jetzt im Zentrum mehrerer Produkte, die wir entwickeln, und wir benötigen eine Plattform, die sowohl zuverlässig als auch in der Lage ist, im Laufe der Zeit fortschrittlichere Intelligenz zu unterstützen.
Diese Rolle spiegelt diesen Wandel wider. Wir entwerfen eine neue Datenplattform, die als Rückgrat für alles dient, von Echtzeit-Entscheidungen bis hin zu prädiktiver Modellierung. Als Data Platform Engineer im Data Team sind Sie für die End-to-End-Echtzeit-Pipeline verantwortlich, die Daten über ein einheitliches analytisches Warehouse und eine Feature-Serving-Schicht bereitstellt. Sie bauen keine Dashboards. Sie entwickeln das kommerzielle Nervensystem einer Mandantenplattform, die darauf ausgelegt ist, von einem Betreiber auf 10x bei marginalen Infrastrukturkosten zu skalieren.
Welche Art von Kultur kann ich erwarten?
Reif, missionsgetrieben und mit geringem Ego. Wir schätzen Klarheit über Lärm, Ergebnisse über Theatralik und Tempo ohne Chaos. Wenn Sie zu den klügsten Köpfen Ihres Fachs gehören und mit anderen Experten aufbauen möchten, werden Sie sich hier wie zu Hause fühlen.
Hauptverantwortlichkeiten
- Entwerfen, Erstellen und Warten skalierbarer Datenpipelines mit AWS Glue (PySpark) oder gleichwertigen Orchestrierungs- und Transformationstools.
- Entwickeln und Optimieren des ClickHouse-Data-Warehouses für Abfrageleistung im Sub-Sekunden-Bereich über alle Back-Offices hinweg.
- Implementieren von Datenverträgen zwischen Back-Office und der Plattform. Die Aufnahme eines neuen Betreibers ist eine Konfigurationsänderung, keine neuen Tabellen, Topics oder Feature-Ansichten.
- Erstellen der Feature-Serving-Schicht, die vortrainierte Features für KI-Agenten mit Millisekunden-Latenz bereitstellt.
- Integration mit Drittanbieter-Datenbanken, Back-Office APIs und externen Systemen (CRM, Affiliates, Akquisitionsplattformen).
- Einrichten von Überwachungs-, Alarmierungs- und Wartungsverfahren, einschließlich Pipeline-Health-Checks, Aktualitätsüberwachung, Anomalieerkennung und Durchsetzung von Datenvertrags-SLAs.
- Verantwortung für CI/CD und Infrastructure-as-Code für Daten-Workloads.
- Zusammenarbeit mit Data Scientists, Agent Engineers, BI-Entwicklern und Infrastrukturteams, um Datenanforderungen in zuverlässige, produktionsreife Pipelines zu übersetzen.
Über Sie
- 3+ Jahre Erfahrung im Aufbau und Betrieb von Produktionsdatenpipelines im großen Maßstab, mit praktischer Erfahrung in Streaming- und Batch-Paradigmen.
- Expertise in Apache Kafka (oder Amazon MSK): Topic-Design, Consumer-Group-Management, Offset-Handling, Schema-Registry-Operationen und Fehlerbehebung bei Latenz-, Rebalancing- und Durchsatzproblemen im produktiven Einsatz.
- Starke SQL- und Data-Warehouse-Engineering-Kenntnisse: Erfahrung mit spaltenorientierten analytischen Datenbanken (ClickHouse stark bevorzugt oder ähnlich: Druid, BigQuery, Redshift).
- PySpark / Spark Streaming-Kenntnisse: Schreiben von Transformationsjobs, die Event-Streams normalisieren, anreichern und Geschäftsregeln durchsetzen. Erfahrung mit AWS Glue, Apache Airflow oder Apache NiFi ist ein großes Plus.
- Disziplin im Datenmodellierungsbereich: Fähigkeit, normalisierte, mandantenfähige Schemata zu entwerfen, bei denen die Mandantentrennung ein Filter und keine Abspaltung ist. Erfahrung mit Datenverträgen und Schema-Governance.
- CI/CD und Infrastructure-as-Code-Erfahrung: automatisierte Tests von Datenpipelines, versionskontrollierte Deployments (CloudFormation, Terraform oder CDK) und Vertrautheit mit containerisierten Workloads (ECS Fargate oder Kubernetes).
- Mindset für Datenqualität und Beobachtbarkeit: Erfahrung in der Implementierung von Pipeline-Health-Monitoring, automatisierter Datenvalidierung (Great Expectations oder Äquivalent), Aktualitätsprüfungen und Anomalieerkennung.
Nice to Have
- Erfahrung in iGaming-, Online-Casino-, Poker- oder Sportwettenplattformen.
- Erfahrung mit Blockchain oder Krypto-nativen Transaktionsflüssen, einschließlich Ingestion von On-Chain-Events, tokenbasierter Buchhaltung oder Stablecoin-Abwicklung.
- Komfortable Arbeit in einer AWS-nativen Umgebung (MSK, Glue, S3, DynamoDB, ECS, IAM). Sie verstehen die Kompromisse von Serverless und können die Infrastruktur für Kosteneffizienz dimensionieren.
- Feature-Store-Erfahrung (SageMaker, Feast oder Tecton) beim Aufbau von Offline/Online-Feature-Pipelines, die ML-Modelle zur Inferenzzeit bereitstellen.
- Vorerfahrung in regulierten Branchen (Finanzdienstleistungen, Glücksspiel, Fintech), in denen Datenherkunft, Auditierbarkeit und Compliance nicht verhandelbar sind.
- Erfahrung bei der Migration von Legacy-Abfrage-Engines (Athena, Trino, Presto) zu modernen analytischen Data Warehouses mit Abgleich-Frameworks zur Validierung der Korrektheit.
Wie wir arbeiten
- Vollständig remote mit asynchroner Kommunikation. Überlappung der Zeitzonen in der EU ist bevorzugt.
- Kleines Team mit hoher Autonomie innerhalb der Data-Funktion. Sie berichten an den Head of Data und koordinieren sich mit den AI-, BI- und Infrastrukturteams.
- Architekturentscheidungen werden dokumentiert und diskutiert. Sie werden an Design-Reviews teilnehmen und die Entscheidungen in Ihrem Bereich verantworten.
- Wir bauen von Tag eins an für Mandanten-Skalierbarkeit. Jede Pipeline, jedes Schema und jeder Vertrag, den Sie ausliefern, muss einen neuen Betreiber ohne technischen Aufwand aufnehmen können.
- Eine Bereitschaftsrotation wird in der Betriebsphase eingerichtet. Während der Aufbauphase liegt der Fokus auf Geschwindigkeit mit Qualität. Kein Firefighting in Legacy-Systemen.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen