États-Unis
Redwood Materials
Netflix
Ingénieur Machine Learning 5 - Décisionnel et Optimisation
États-Unis
Los Angeles, California, United States · Los Gatos, California, United States · New York, New York, United States · Seattle, Washington, United States
PythonJava
Traduction automatique. Consultez l’original.
À propos du poste
Chez Netflix, notre mission est de divertir le monde. Ensemble, nous écrivons le prochain épisode, repoussant les limites de la narration, du fandom mondial et rendant l'inimaginable réel. Nous sommes une équipe de rêve obsédée par l'excitation inconfortable de découvrir ce qui se passe lorsque l'on fusionne créativité, intuition et technologie de pointe. Venez faire partie de ce qui arrive ensuite.
Nous avons lancé une nouvelle offre avec publicité en novembre 2022 et construisons un écosystème interne de technologie publicitaire de classe mondiale pour offrir à nos membres plus de choix dans la consommation de leur contenu. Notre nouvelle offre nous permet d'attirer de nouveaux membres à un prix inférieur tout en créant un chemin convaincant pour que les annonceurs atteignent des audiences profondément engagées.
Notre Équipe
L'équipe d'ingénierie Décisionnel et Optimisation est propriétaire des systèmes qui déterminent quelle publicité gagne chaque impression, à quel prix, et comment les budgets des campagnes sont délivrés sur toutes les surfaces d'inventaire. Notre travail couvre trois domaines de plateforme :
- Infrastructure ML pour le service de modèles : inférence en temps réel à 1M+ QPS, évaluation multi-modèles parallèle, hydratation des caractéristiques, cycle de vie du modèle du déploiement canary à la surveillance en production
- Enchères, classement et scoring : sélection de candidats multi-étapes, scoring, valorisation des enchères, tarification dynamique et regroupement
- Budget, cadencement et enchères : systèmes de contrôle pour l'optimisation de la livraison, la planification budgétaire et le calcul des enchères
Nous passons de quelques modèles de production à plus de 10 tout en maintenant des budgets d'inférence inférieurs à 20ms P99. Nous recherchons un ingénieur ML capable de construire et d'opérer l'infrastructure de service sur laquelle ces modèles s'exécutent, et qui comprend suffisamment le contexte du décisionnel publicitaire pour faire les bons compromis d'ingénierie.
Netflix possède une culture et un environnement uniques. En savoir plus ici.
Ce que vous ferez
- Construire et opérer une infrastructure de service de modèles ML de bout en bout pour le décisionnel publicitaire en temps réel : publication, packaging, validation, déploiement dans la pile de service avec échange à chaud sans interruption
- Mettre à l'échelle le chemin d'inférence pour supporter des dizaines de modèles concurrents sur chaque requête publicitaire à 1M+ QPS avec des budgets de latence stricts, y compris les stratégies de batching, l'allocation CPU/GPU, le versionnement des modèles et les niveaux de repli
- Concevoir et optimiser le chemin de service des caractéristiques : hydratation des caractéristiques depuis Chronon, Signal Service et les flux en temps réel avec une latence de récupération inférieure à 10ms P99 et une cohérence en ligne/hors ligne
- Mettre en production des modèles de scoring et de classement pour la sélection d'annonces multi-étapes (récupération, classement préliminaire, scoring complet) et intégrer les sorties des modèles dans l'enchère
- Construire une surveillance des performances des modèles en production : latence d'inférence, décalages de distribution des prédictions, détection de dérive des caractéristiques, calibration des scores et détection de régression avant impact sur les revenus
- Collaborer étroitement avec les équipes Data Science & Plateforme
- Construire une infrastructure de simulation pour rejouer le trafic de production contre des modèles candidats hors ligne, permettant la validation des changements du marché avant le déploiement en direct
- Promouvoir l'excellence opérationnelle pour les systèmes ML : fiabilité, observabilité, planification de la capacité, réponse aux incidents et mise à l'échelle pour les événements en direct avec plus de 35M de spectateurs simultanés
Compétences et Expérience Recherchées
- 7+ années d'expérience en ingénierie logicielle ; 3+ années axées sur l'infrastructure ML, le service de modèles ou le travail sur plateforme ML dans un contexte publicitaire ou de décisionnel en temps réel
- Avoir construit et opéré des systèmes de service de modèles en temps réel à QPS élevé avec une latence inférieure à 20ms : inférence en ligne, magasins de caractéristiques, registres de modèles, échange à chaud de modèles, déploiement canary et shadow
- Maîtrise de Java, Python, ou Scala avec une solide compréhension du multithreading, de la gestion de la mémoire et de l'optimisation des performances pour les chemins critiques en termes de latence
- Expérience pratique avec les frameworks de service ML : sérialisation, optimisation d'exécution et contraintes de déploiement
- Expérience avec les pipelines d'ingénierie des caractéristiques pour les systèmes en temps réel : cohérence en ligne/hors ligne, stratégies d'hydratation, mise en cache et compromis de fraîcheur
- Compréhension approfondie de la surveillance des modèles en production : détection de dérive, analyse de la distribution des prédictions, calibration et profilage de la latence
- À l'aise pour travailler à la frontière entre la recherche ML et l'ingénierie de production : capable de prendre un artefact de modèle et de le transformer en un service prêt pour la production qui respecte les SLA
- Capacité démontrée à opérer dans un environnement qui exige à la fois l'échelle des grandes technologies et la rapidité des startups
Atouts supplémentaires
- Expérience dans le domaine publicitaire : modèles de classement, scoring des enchères, prix de réserve, optimisation du rendement, allocation dynamique entre inventaire garanti et non garanti
- Expérience avec les mécanismes d'enchères : classement multi-étapes, réduction des enchères, prédiction des enchères, dynamique de la concurrence sur le marché
- Avoir construit ou amélioré des systèmes de contrôle du cadencement et de la livraison des budgets
- Avoir construit des plateformes de simulation ou de test contrefactuel pour les systèmes de marché ou d'enchères
- Expérience avec l'infrastructure de tests A/B pour le déploiement de modèles : expériences en ligne, groupes de contrôle, évaluation consciente des interférences dans les contextes de marché
- Connaissance des contraintes de la CTV : insertion publicitaire côté serveur, diffusion publicitaire d'événements en direct à grande échelle, schémas de trafic en rafale
- Écosystème JVM
En général, notre structure de rémunération se compose uniquement d'un salaire annuel ; nous n'avons pas de primes. Vous choisissez chaque année la part de votre rémunération que vous souhaitez recevoir en salaire par rapport aux options d'achat d'actions. Pour déterminer votre rémunération personnelle au sommet du marché, nous nous appuyons sur des indicateurs de marché et considérons votre famille de postes spécifique, votre parcours, vos compétences et votre expérience pour déterminer votre rémunération dans la fourchette du marché.
La fourchette pour ce rôle est $466,000.00 - $750,000.00.
Netflix offre des avantages complets, notamment des plans de santé, un soutien en santé mentale, un plan de retraite 401(k) avec une contribution de l'employeur, un programme d'options d'achat d'actions, des programmes d'invalidité, des comptes d'épargne santé et des comptes de dépenses flexibles, des avantages pour la formation de famille, et des avantages en cas de décès et de blessure grave. Nous offrons également des programmes de congés payés. Les employés horaires à temps plein accumulent 35 jours par an pour des congés payés à utiliser pour les vacances, les jours fériés et les congés maladie payés. Les employés salariés à temps plein ont droit immédiatement à des congés flexibles. Voir plus de détails sur nos Avantages ici.
L'inclusion est une valeur de Netflix et nous nous efforçons d'offrir une expérience d'entretien significative à tous les candidats. Si vous souhaitez un aménagement/une adaptation pour un handicap ou pour toute autre raison pendant le processus d'embauche, veuillez envoyer une demande à votre partenaire de recrutement.
Nous sommes un employeur garantissant l'égalité des chances et célébrons la diversité, reconnaissant que la diversité renforce les équipes. Nous abordons la diversité et l'inclusion sérieusement et avec réflexion. Nous ne faisons aucune discrimination fondée sur la race, la religion, la couleur, l'ascendance, l'origine nationale, la caste, le sexe, l'orientation sexuelle, le genre, l'identité ou l'expression de genre, l'âge, le handicap, l'état de santé, la grossesse, le patrimoine génétique, le statut matrimonial ou le service militaire.
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil