Sherpa 6
Figure
Helix AI Engineer, Video Pretraining
Sobre la oportunidad
Figure es una empresa de robótica de IA que desarrolla robots humanoides autónomos de propósito general. El objetivo de la empresa es lanzar robots humanoides con inteligencia a nivel humano. Sus robots están diseñados para realizar una variedad de tareas en los mercados doméstico y comercial. Figure tiene su sede en San Jose, CA.
Nuestro equipo Helix es responsable del desarrollo de los sistemas centrales de IA que potencian la autonomía humanoide. Buscamos un Helix AI Engineer, Video Pretraining para liderar el desarrollo de modelos de fundación de vídeo a gran escala entrenados con datos diversos recopilados por robots y del mundo real.
Este puesto se centra en el preentrenamiento de modelos que aprenden de vídeo en bruto —capturando movimiento, interacción y estructura temporal— para habilitar capacidades posteriores en percepción, predicción y razonamiento encarnado.
Responsabilidades
- Diseñar y entrenar modelos de fundación de vídeo a gran escala en conjuntos de datos diversos que abarcan vídeo a escala de internet y datos recopilados por robots.
- Desarrollar estrategias de preentrenamiento que capturen la dinámica temporal, el movimiento y la interacción de objetos a partir de secuencias de vídeo en bruto.
- Construir modelos que aprendan representaciones transferibles para tareas posteriores como percepción, seguimiento, predicción y control.
- Explorar arquitecturas para la comprensión y generación de vídeo, incluyendo enfoques basados en transformadores y basados en difusión.
- Implementar canalizaciones de datos eficientes y estrategias de entrenamiento para la ingesta de vídeo de alto rendimiento y el entrenamiento distribuido a gran escala.
- Optimizar el rendimiento del modelo en restricciones de cómputo, memoria y eficiencia de entrenamiento.
- Colaborar estrechamente con los equipos de modelado generativo, agentes y aprendizaje de robots para integrar modelos preentrenados en la pila de autonomía.
- Diseñar marcos de evaluación y benchmarks para medir la comprensión temporal, la calidad de la predicción y la generalización.
Requisitos
- Experiencia en el entrenamiento de modelos a gran escala en datos de vídeo u otras modalidades secuenciales de alta dimensionalidad.
- Sólida comprensión de las arquitecturas modernas de deep learning para vídeo, visión o sistemas multimodales.
- Experiencia con preentrenamiento a gran escala, incluyendo curación de conjuntos de datos, dinámica de entrenamiento y leyes de escalado.
- Dominio de Python y frameworks de deep learning como PyTorch.
- Experiencia trabajando con sistemas de entrenamiento distribuido y grandes clústeres de GPU.
- Sólido rigor experimental y capacidad para iterar rápidamente en el diseño de modelos y estrategias de entrenamiento.
- Sólidas habilidades de ingeniería de software y capacidad para construir sistemas escalables y fiables.
- Capacidad para operar de forma independiente e impulsar direcciones de investigación ambiguas y de alto impacto.
Cualificaciones adicionales
- Experiencia trabajando en modelos de vídeo de vanguardia o modelos de fundación multimodales.
- Experiencia en difusión de vídeo, modelado autorregresivo de vídeo o modelos del mundo.
- Experiencia en laboratorios de IA líderes como OpenAI, Google DeepMind, Google, ByteDance, Midjourney o Adobe.
- Experiencia en la construcción y filtrado de conjuntos de datos a gran escala para el preentrenamiento de vídeo.
- Familiaridad con robótica, IA encarnada o aprendizaje a partir de vídeo egocéntrico / en primera persona.
- Historial de publicaciones en machine learning, visión por computadora o IA multimodal.
El rango salarial base en EE. UU. para este puesto a tiempo completo es de $200,000 a $400,000 por año.
La remuneración ofrecida para este puesto puede variar según varios factores individuales, incluyendo el conocimiento, las habilidades y la experiencia relacionados con el puesto. El paquete total de compensación también puede incluir componentes/beneficios adicionales dependiendo del puesto específico. Esta información se compartirá si se extiende una oferta de empleo.
