Estados Unidos
Redwood Materials
Netflix
Ingeniero de Machine Learning 5 - Toma de decisiones y optimización
Estados Unidos
Los Angeles, California, United States · Los Gatos, California, United States · New York, New York, United States · Seattle, Washington, United States
PythonJava
Traducción automática. Consulta el original.
Sobre la oportunidad
En Netflix, nuestra misión es entretener al mundo. Juntos, estamos escribiendo el próximo episodio, superando los límites de la narración, el fandom global y haciendo realidad lo inimaginable. Somos un equipo de ensueño obsesionado con la emoción incómoda de descubrir qué sucede cuando fusionas creatividad, intuición y tecnología de vanguardia. Ven y sé parte de lo que viene.
Lanzamos un nuevo nivel con publicidad en noviembre de 2022 y estamos construyendo un ecosistema de tecnología publicitaria de clase mundial interno para ofrecer a nuestros miembros más opciones en el consumo de su contenido. Nuestro nuevo nivel nos permite atraer nuevos miembros a un precio más bajo y, al mismo tiempo, crear un camino atractivo para que los anunciantes lleguen a audiencias profundamente comprometidas.
Nuestro Equipo
El equipo de ingeniería de Decisioning & Optimization posee los sistemas que determinan qué anuncio gana cada impresión, a qué precio, y cómo se entregan los presupuestos de las campañas en todas las superficies de inventario. Nuestro trabajo abarca tres áreas de plataforma:
- Infraestructura de ML para servir modelos: inferencia en tiempo real a 1M+ QPS, evaluación paralela de múltiples modelos, hidratación de características, ciclo de vida del modelo desde el despliegue canary hasta la monitorización en producción
- Subasta, clasificación y puntuación: selección de candidatos en múltiples etapas, puntuación, valoración de pujas, fijación de precios dinámica y agrupación
- Presupuesto, planificación y pujas: sistemas de control para la optimización de la entrega, planificación de presupuestos y cálculo de pujas
Estamos escalando de un puñado de modelos de producción a más de 10 mientras mantenemos presupuestos de inferencia P99 por debajo de 20ms. Buscamos un ingeniero de ML que pueda construir y operar la infraestructura de servicio sobre la que se ejecutan estos modelos, y que comprenda el contexto de la toma de decisiones publicitarias lo suficientemente bien como para tomar las decisiones de ingeniería correctas.
Netflix tiene una cultura y un entorno únicos. Obtenga más información aquí.
Qué Harás
- Construir y operar infraestructura de servicio de modelos de ML de extremo a extremo para la toma de decisiones publicitarias en tiempo real: publicación de modelos, empaquetado, validación, despliegue en la pila de servicio con intercambio en caliente sin tiempo de inactividad
- Escalar la ruta de inferencia para soportar docenas de modelos concurrentes en cada solicitud de anuncio a 1M+ QPS con estrictos presupuestos de latencia, incluyendo estrategias de batching, asignación de CPU/GPU, versionado de modelos y niveles de fallback
- Diseñar y optimizar la ruta de servicio de características: hidratación de características desde Chronon, Signal Service y flujos en tiempo real con latencia de obtención P99 por debajo de 10ms y consistencia online/offline
- Poner en producción modelos de puntuación y clasificación para la selección de anuncios en múltiples etapas (recuperación, clasificación temprana, puntuación completa) e integrar los resultados del modelo en la subasta
- Construir monitorización del rendimiento del modelo en producción: latencia de inferencia, cambios en la distribución de predicciones, detección de deriva de características, calibración de puntuaciones y detección de regresiones antes del impacto en los ingresos
- Colaborar estrechamente con los equipos de Data Science y Plataforma
- Construir infraestructura de simulación para reproducir tráfico de producción contra modelos candidatos offline, permitiendo la validación de cambios en el marketplace antes del despliegue en vivo
- Impulsar la excelencia operativa para sistemas de ML: fiabilidad, observabilidad, planificación de capacidad, respuesta a incidentes y escalado para eventos en vivo con más de 35M espectadores concurrentes
Habilidades y Experiencia que Buscamos
- 7+ años de experiencia en ingeniería de software; 3+ años centrados en infraestructura de ML, servicio de modelos o trabajo en plataformas de ML en un contexto de publicidad o toma de decisiones en tiempo real
- Haber construido y operado sistemas de servicio de modelos en tiempo real a alto QPS con latencia inferior a 20ms: inferencia online, almacenes de características, registros de modelos, intercambio en caliente de modelos, despliegue canary y shadow
- Dominio de Java, Python o Scala con una sólida comprensión de la multihilo, la gestión de memoria y la optimización del rendimiento para rutas críticas de latencia
- Experiencia práctica con frameworks de servicio de ML: serialización, optimización de tiempo de ejecución y restricciones de despliegue
- Experiencia con pipelines de ingeniería de características para sistemas en tiempo real: consistencia online/offline, estrategias de hidratación, caché y compromisos de frescura
- Sólida comprensión de la monitorización de modelos en producción: detección de deriva, análisis de distribución de predicciones, calibración y perfilado de latencia
- Comodidad trabajando en el límite entre la investigación de ML y la ingeniería de producción: capaz de tomar un artefacto de modelo y convertirlo en un servicio listo para producción que cumpla con el SLA
- Capacidad demostrada para operar en un entorno que requiere tanto la escala de las grandes tecnológicas como la velocidad de las startups
Valorable
- Experiencia en el dominio de la publicidad: modelos de clasificación, puntuación de pujas, precios de reserva, optimización de rendimiento, asignación dinámica en inventario garantizado y no garantizado
- Experiencia con mecánicas de subasta: clasificación en múltiples etapas, sombreado de pujas, predicción de pujas, dinámicas de competencia en el mercado
- Haber construido o mejorado sistemas de control de planificación y entrega de presupuestos
- Haber construido plataformas de simulación o pruebas contrafactuales para sistemas de mercado o subastas
- Experiencia con infraestructura de pruebas A/B para despliegues de modelos: experimentos online, grupos de retención, evaluación consciente de interferencias en entornos de mercado
- Familiaridad con las restricciones de CTV: inserción de anuncios en el lado del servidor, servicio de anuncios en eventos en vivo a escala, patrones de tráfico de ráfagas
- Ecosistema JVM
Generalmente, nuestra estructura de compensación consiste únicamente en un salario anual; no tenemos bonificaciones. Usted elige cada año cuánto de su compensación desea en salario frente a opciones sobre acciones. Para determinar su compensación personal máxima en el mercado, nos basamos en indicadores de mercado y consideramos su familia de puestos específica, antecedentes, habilidades y experiencia para determinar su compensación dentro del rango del mercado.
El rango para este puesto es $466,000.00 - $750,000.00.
Netflix ofrece beneficios integrales que incluyen Planes de Salud, apoyo para la Salud Mental, un Plan de Jubilación 401(k) con aportación del empleador, Programa de Opciones sobre Acciones, Programas de Discapacidad, Cuentas de Ahorro para la Salud y Cuentas de Gasto Flexible, beneficios para la formación familiar y Beneficios de Vida y Lesiones Graves. También ofrecemos programas de licencia pagada. Los empleados por hora a tiempo completo acumulan 35 días anuales de tiempo libre pagado para ser utilizados para vacaciones, días festivos y tiempo libre pagado por enfermedad. Los empleados asalariados a tiempo completo tienen derecho inmediato a tiempo libre flexible. Vea más detalles sobre nuestros Beneficios aquí.
La inclusión es un valor de Netflix y nos esforzamos por ofrecer una experiencia de entrevista significativa para todos los candidatos. Si desea una adaptación/ajuste por discapacidad o cualquier otro motivo durante el proceso de contratación, envíe una solicitud a su socio de reclutamiento.
Somos un empleador que ofrece igualdad de oportunidades y celebramos la diversidad, reconociendo que la diversidad construye equipos más fuertes. Abordamos la diversidad y la inclusión de manera seria y reflexiva. No discriminamos por motivos de raza, religión, color, ascendencia, origen nacional, casta, sexo, orientación sexual, género, identidad o expresión de género, edad, discapacidad, condición médica, embarazo, composición genética, estado civil o servicio militar.
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil