Vereinigte Staaten
Redwood Materials
Netflix
Machine Learning Engineer 5 - Decisioning & Optimization
Vereinigte Staaten
Los Angeles, California, United States · Los Gatos, California, United States · New York, New York, United States · Seattle, Washington, United States
PythonJava
Automatische Übersetzung. Prüfe das Original.
Über die Stelle
Bei Netflix ist es unsere Mission, die Welt zu unterhalten. Gemeinsam schreiben wir die nächste Episode – wir erweitern die Grenzen des Geschichtenerzählens und der globalen Fangemeinden und machen das Unvorstellbare möglich. Wir sind ein Dream-Team, das sich für die unbequeme Aufregung begeistert, wenn Kreativität, Intuition und Spitzentechnologie aufeinandertreffen. Werden Sie Teil dessen, was als Nächstes kommt.
Im November 2022 haben wir einen neuen werbefinanzierten Tarif eingeführt und bauen ein eigenes, erstklassiges Ad-Tech-Ökosystem auf, um unseren Mitgliedern mehr Auswahlmöglichkeiten beim Konsum ihrer Inhalte zu bieten. Unser neuer Tarif ermöglicht es uns, neue Mitglieder zu einem niedrigeren Preis zu gewinnen und gleichzeitig Werbetreibenden einen überzeugenden Weg zu bieten, um stark engagierte Zielgruppen zu erreichen.
Unser Team
Das Decisioning & Optimization Engineering Team ist für die Systeme verantwortlich, die entscheiden, welche Anzeige bei jedem Impression gewinnt, zu welchem Preis und wie Kampagnenbudgets über alle Inventarflächen hinweg ausgeliefert werden. Unsere Arbeit umfasst drei Plattformbereiche:
- ML-Infrastruktur für Model Serving: Echtzeit-Inferenz bei 1 Mio.+ QPS, parallele Mehrfachmodellbewertung, Feature-Hydration, Modelllebenszyklus vom Canary-Deployment bis zur Produktionsüberwachung
- Auktion, Ranking und Scoring: Mehrstufige Kandidatenauswahl, Scoring, Gebotsbewertung, dynamische Preisgestaltung und Podding
- Budget, Pacing und Bidding: Kontrollsysteme für Lieferoptimierung, Budgetplanung und Gebotsberechnung
Wir skalieren von einer Handvoll Produktionsmodellen auf über 10 Modelle und halten dabei Inferenzbudgets von unter 20 ms P99. Wir suchen einen ML-Ingenieur, der die Serving-Infrastruktur, auf der diese Modelle laufen, aufbauen und betreiben kann und der den Ad-Decisioning-Kontext gut genug versteht, um die richtigen technischen Kompromisse einzugehen.
Netflix hat eine einzigartige Kultur und Umgebung. Erfahren Sie hier mehr.
Was Sie tun werden
- Aufbau und Betrieb einer End-to-End-ML-Modell-Serving-Infrastruktur für Echtzeit-Ad-Decisioning: Modellveröffentlichung, -paketierung, -validierung, Bereitstellung im Serving-Stack mit Zero-Downtime-Hot-Swap
- Skalierung des Inferenzpfads zur Unterstützung von Dutzenden gleichzeitiger Modelle bei jeder Anzeigenanfrage mit 1 Mio.+ QPS bei strengen Latenzbudgets, einschließlich Batching-Strategien, CPU/GPU-Zuweisung, Modellversionierung und Fallback-Ebenen
- Entwurf und Optimierung des Feature-Serving-Pfads: Feature-Hydration von Chronon, Signal Service und Echtzeit-Streams mit sub-10 ms P99 Fetch-Latenz und Online/Offline-Konsistenz
- Produktion von Scoring- und Ranking-Modellen für die mehrstufige Anzeigen-Auswahl (Retrieval, Early Ranking, Full Scoring) und Integration von Modellausgaben in die Auktion
- Aufbau der Modell-Performance-Überwachung in der Produktion: Inferenzlatenz, Verteilungsverschiebungen der Vorhersagen, Feature-Drift-Erkennung, Score-Kalibrierung und Regressionserkennung vor Umsatzeinbußen
- Enge Zusammenarbeit mit Data Science & Platform Teams
- Aufbau einer Simulationsinfrastruktur zum Offline-Wiederholen von Produktionsverkehr gegen Kandidatenmodelle, um die Validierung von Marktplatzänderungen vor der Live-Einführung zu ermöglichen
- Förderung operativer Exzellenz für ML-Systeme: Zuverlässigkeit, Beobachtbarkeit, Kapazitätsplanung, Incident Response und Skalierung für Live-Events mit über 35 Mio. gleichzeitigen Zuschauern
Fähigkeiten & Erfahrungen, die wir suchen
- 7+ Jahre Erfahrung in der Softwareentwicklung; 3+ Jahre mit Fokus auf ML-Infrastruktur, Model Serving oder ML-Plattformarbeit im Kontext von Anzeigen oder Echtzeit-Decisioning
- Aufbau und Betrieb von Echtzeit-Modell-Serving-Systemen bei hohen QPS mit Latenzen unter 20 ms: Online-Inferenz, Feature-Stores, Modell-Registries, Modell-Hot-Swap, Canary- und Shadow-Rollouts
- Beherrschung von Java, Python oder Scala mit einem soliden Verständnis von Multithreading, Speicherverwaltung und Leistungsoptimierung für latenzkritische Pfade
- Praktische Erfahrung mit ML-Serving-Frameworks: Serialisierung, Laufzeitoptimierung und Bereitstellungsbeschränkungen
- Erfahrung mit Feature-Engineering-Pipelines für Echtzeitsysteme: Online/Offline-Konsistenz, Hydrationsstrategien, Caching und Kompromisse bei der Aktualität
- Starkes Verständnis der Modellüberwachung in der Produktion: Drift-Erkennung, Analyse der Vorhersageverteilung, Kalibrierung und Latenzprofilierung
- Komfortable Arbeit an der Schnittstelle zwischen ML-Forschung und Produktions-Engineering: Fähigkeit, ein Modell-Artefakt zu nehmen und es in einen produktionsbereiten Dienst umzuwandeln, der SLAs erfüllt
- Nachgewiesene Fähigkeit, in einer Umgebung zu arbeiten, die sowohl Big-Tech-Skalierung als auch Startup-Geschwindigkeit erfordert
Nice to Haves
- Erfahrung im Anzeigenbereich: Ranking-Modelle, Gebots-Scoring, Reservepreise, Yield-Optimierung, dynamische Allokation über garantierte und nicht garantierte Inventare
- Erfahrung mit Auktionsmechanismen: Mehrstufiges Ranking, Gebotsabschattung, Gebotsprognose, Wettbewerbsdynamik auf dem Marktplatz
- Aufbau oder Verbesserung von Systemen zur Budget-Pacing- und Liefersteuerung
- Aufbau von Simulations- oder kontrafaktischen Testplattformen für Marktplatz- oder Auktionssysteme
- Erfahrung mit A/B-Testing-Infrastruktur für Modell-Rollouts: Online-Experimente, Holdout-Gruppen, störungsbewusste Evaluierung in Marktplatz-Umgebungen
- Vertrautheit mit CTV-Beschränkungen: Serverseitige Anzeigen-Einfügung, Live-Event-Anzeigenschaltung in großem Maßstab, Burst-Traffic-Muster
- JVM-Ökosystem
Im Allgemeinen besteht unsere Vergütungsstruktur ausschließlich aus einem Jahresgehalt; wir haben keine Boni. Sie wählen jedes Jahr, wie viel Ihrer Vergütung Sie in Gehalt und wie viel in Aktienoptionen umwandeln möchten. Um Ihre persönliche Spitzenvergütung im Markt zu ermitteln, stützen wir uns auf Marktindikatoren und berücksichtigen Ihre spezifische Jobfamilie, Ihren Hintergrund, Ihre Fähigkeiten und Ihre Erfahrung, um Ihre Vergütung im Marktbereich festzulegen.
Die Spanne für diese Rolle beträgt $466,000.00 - $750,000.00.
Netflix bietet umfassende Leistungen, darunter Krankenversicherungspläne, Unterstützung für psychische Gesundheit, einen 401(k) Altersvorsorgeplan mit Arbeitgeberzuschuss, ein Aktienoptionsprogramm, Behindertenprogramme, Gesundheitssparkonten und flexible Ausgabenkonten, Leistungen zur Familienbildung sowie Lebens- und schwere Verletzungsleistungen. Wir bieten auch bezahlte Beurlaubungsprogramme an. Vollzeit-Stundenmitarbeiter sammeln jährlich 35 Tage bezahlte Freizeit an, die für Urlaub, Feiertage und bezahlte Krankheitstage verwendet werden können. Vollzeit-Angestellte haben sofort Anspruch auf flexible Arbeitszeitgestaltung. Weitere Details zu unseren Leistungen finden Sie hier.
Inklusion ist ein Netflix Wert und wir bemühen uns, allen Kandidaten ein sinnvolles Interviewerlebnis zu bieten. Wenn Sie eine Unterkunft/Anpassung aufgrund einer Behinderung oder aus einem anderen Grund während des Einstellungsprozesses wünschen, senden Sie bitte eine Anfrage an Ihren Recruiting-Partner.
Wir sind ein Arbeitgeber, der Chancengleichheit fördert und Vielfalt feiert, in der Erkenntnis, dass Vielfalt stärkere Teams schafft. Wir gehen Vielfalt und Inklusion ernsthaft und durchdacht an. Wir diskriminieren nicht aufgrund von Rasse, Religion, Hautfarbe, Herkunft, Nationalität, Kaste, Geschlecht, sexueller Orientierung, Geschlecht, Geschlechtsidentität oder -ausdruck, Alter, Behinderung, Gesundheitszustand, Schwangerschaft, genetischer Veranlagung, Familienstand oder Militärdienst.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen