B&A
Fetch
Senior ML Operations Engineer II - Monetization
ÜBER DIE ROLLE
Fetch basiert auf echten Kaufdaten, die von Millionen von Nutzern durch das Scannen ihrer Kassenbons geteilt werden. Data Science wandelt dieses Signal in prädiktive Modelle um, die wertvolle Nutzerinformationen für unsere Stakeholder und Partner generieren. Diese Modelle benötigen ein zuverlässiges operatives Fundament, um sicher von der Experimentierphase in die Produktion überführt zu werden und sich kontinuierlich weiterzuentwickeln.
Als Senior MLOps Engineer verantworten Sie die Systeme und Praktiken, die die Modelle von Fetch produktionsreif, beobachtbar, reproduzierbar und resilient machen. Sie arbeiten eng mit Data Science und Engineering über den gesamten Modelllebenszyklus hinweg zusammen, einschließlich Training, Validierung, Deployment, Versionierung, Monitoring, Retraining und Außerbetriebnahme.
Dies ist eine praxisorientierte technische Führungsrolle. Sie entwickeln wiederverwendbare Infrastruktur, etablieren Standards für Modellgesundheit und Produktionszuverlässigkeit und erstellen einen gemeinsamen Modell-Hub, der den Zweck, den Status, die Evaluierungsergebnisse, die Release-Historie und die Performance jedes Modells zugänglich macht. Ihre Arbeit hilft Teams dabei, Probleme früher zu erkennen, Modelle schneller zu verbessern und jeden Produktionsanspruch mit klaren Nachweisen zu stützen.
VERANTWORTLICHKEITEN DER ROLLE
- Verantwortung für den gesamten Modelllebenszyklus von der Experimentierphase über Validierung, Deployment, Versionierung, Retraining, Rollback bis hin zur Außerbetriebnahme.
- Etablierung klarer Kriterien für die Modellförderung, Release-Prozesse und Rollback-Pfade, die es Teams ermöglichen, Verbesserungen sicher bereitzustellen.
- Aufbau von Monitoring für Datenqualität, Drift, Vorhersagequalität, Service-Zuverlässigkeit, Latenz und Infrastrukturkosten.
- Zusammenarbeit mit Data Scientists zur Definition aussagekräftiger Offline- und Produktions-Evaluierungssignale, auch für Anwendungsfälle mit verzögerten Ergebnis-Labels.
- Nutzung von Produktionsnachweisen zur Verbesserung der Modellperformance, Plattformzuverlässigkeit, Deployment-Geschwindigkeit und Infrastruktureffizienz.
- Aufbau wiederverwendbarer Trainings-, Evaluierungs- und Deployment-Pipelines, die mehrere Modelle und Modellierungsansätze unterstützen.
- Entwicklung zuverlässiger Orchestrierungs-Workflows für Abhängigkeiten, Scheduling, Retries, Backfills und Fehlerbehebung.
- Übersetzung wissenschaftlicher Anforderungen in wartbare Produktionssysteme mit klaren Schnittstellen, Verantwortlichkeiten und operativen Erwartungen.
- Aufbau und Pflege eines zugänglichen Modell-Hubs, der Modelldokumentation, Evaluierungsergebnisse, Release-Historie, Versionierung und Monitoring miteinander verbindet.
- Erstellung getesteter CI/CD-Workflows, reproduzierbarer Umgebungen, umsetzbarer Alerts, Verfahren zur Vorfallreaktion und operativer Runbooks.
- Definition von MLOps-Prioritäten in Partnerschaft mit Data Science und Engineering, um Risiken zu identifizieren, bevor sie zu Produktionsproblemen werden.
- Etablierung wiederverwendbarer Engineering-Standards, Mentoring von Teammitgliedern und Reduzierung der operativen Belastung für Data Scientists.
MINDESTANFORDERUNGEN
- 5+ Jahre Erfahrung in der Verwaltung von ML-Produktionssystemen über das initiale Deployment hinaus, einschließlich Monitoring, Retraining, Vorfallreaktion und kontinuierlicher Verbesserung.
- Fundierte Fähigkeiten in der Softwareentwicklung für die Produktion in Python sowie Kenntnisse in SQL.
- Praktische Erfahrung in der Nutzung von Spark für die verteilte Datenverarbeitung.
- Erfahrung mit einer Workflow-Orchestrierungs-Engine für Scheduling, Abhängigkeitsmanagement, Retries, Backfills und Wiederherstellung.
- Praktische Erfahrung im Aufbau von Infrastruktur mit Terraform.
- Erfahrung im Deployment und Betrieb von containerisierten Produktions-Workloads auf Kubernetes.
- Erfahrung im Aufbau wiederverwendbarer Trainings-, Evaluierungs- oder Deployment-Infrastruktur, die von mehreren Modellen, Wissenschaftlern oder Teams genutzt wird.
- Erfahrung in der Implementierung von Modell- und Datensatz-Versionierung, Experiment-Tracking, Lineage und reproduzierbaren Releases.
- Fähigkeit, zwischen Service- oder Infrastrukturfehlern und Änderungen in der Modelleffektivität zu unterscheiden.
- Erfahrung im Aufbau von CI/CD-Pipelines, Monitoring, Alerting, Rollback-Mechanismen und Wiederherstellungsverfahren für ML-Produktionssysteme.
- Nachgewiesene Fähigkeit, Modellqualität, Liefergeschwindigkeit, Zuverlässigkeit und Infrastrukturkosten in Einklang zu bringen.
- Starke funktionsübergreifende Kommunikationsfähigkeiten und Erfahrung in der Zusammenarbeit mit Data Scientists, um die wissenschaftliche Validität bei der Überführung von Modellen in die Produktion zu wahren.
- Fähigkeit, einen Produktionsvorfall oder ein Problem der Modellverschlechterung zu erklären, wie es erkannt wurde und welche Verbesserungen daraus folgten.
BEVORZUGTE ANFORDERUNGEN
- Erfahrung in der Entwicklung von Plattformdiensten, Infrastruktur oder internen Tools in Go.
- Erfahrung im Aufbau oder der Verantwortung für eine Modell-Registry, einen Modell-Hub oder ein ähnliches System, das von technischen und nicht-technischen Stakeholdern genutzt wird.
- Erfahrung in der Unterstützung von ML-Systemen, bei denen Ergebnis-Labels verzögert vorliegen oder die Modellqualität nicht sofort messbar ist.
- Nachweisbare Erfolge bei der Verbesserung der Deployment-Geschwindigkeit, Modellqualität, Systemzuverlässigkeit, Infrastrukturkosten oder der Reduzierung des manuellen operativen Aufwands.
- Erfahrung im Design konfigurierbarer ML-Infrastruktur, die verschiedene Modellierungs-Frameworks oder -Ansätze unterstützt.
- Nachweis, dass wiederverwendbare Infrastruktur, Standards oder Dokumentationen teamübergreifend übernommen wurden.
- Erfahrung im Mentoring von Ingenieuren oder Data Scientists und in der Beeinflussung technischer Prioritäten innerhalb eines ML-Portfolios.
- Erfahrung in der Arbeit in Umgebungen mit sensiblen Informationen und im Design von Dokumentation oder Monitoring unter Berücksichtigung angemessener Zugriffsgrenzen.
