Estados Unidos
The MITRE Corporation
Meta
Ingeniero/a de Investigación - MSL FAIR Foundations
Estados Unidos
Menlo Park, California, United States · New York, New York, United States · Seattle, Washington, United States
Python
Traducción automática. Consulta el original.
Sobre la oportunidad
Meta está buscando Ingenieros/as de Investigación para unirse al equipo de Evaluaciones dentro de Meta Superintelligence Labs.
Las evaluaciones son el núcleo del progreso en IA en MSL, determinando qué capacidades se construyen, qué características se priorizan y a qué velocidad mejoran nuestros modelos.
Como Ingeniero/a de Investigación en este equipo, curarás y construirás los benchmarks para nuestros modelos de IA más avanzados, abarcando texto, visión, audio y más allá.
Trabajarás junto a investigadores e ingenieros de talla mundial para recopilar, desarrollar y desplegar benchmarks novedosos y entornos de aprendizaje por refuerzo.
Este es un rol altamente técnico que requiere sólidas habilidades de ingeniería de investigación y la capacidad de trabajar de forma independiente en una variedad de desafíos abiertos de machine learning con alta fiabilidad.
Las evaluaciones que construyas impactarán directamente la dirección de la investigación y las principales líneas de modelos dentro de MSL, haciendo que la fiabilidad, el rigor y la escalabilidad de la ingeniería sean primordiales.
Tendrás éxito manteniendo una alta velocidad mientras te adaptas a prioridades que cambian rápidamente a medida que avanzamos en la frontera de la investigación técnica.
Necesitarás ser flexible y adaptable, abordando una amplia variedad de problemas en el espacio de las evaluaciones, desde la implementación de benchmarks existentes hasta el desarrollo de benchmarks y entornos novedosos, y la implementación de herramientas de evaluación a escala.
Si te apasiona definir las capacidades que impulsan el progreso de la IA y prosperas en entornos de investigación de alto impacto y ritmo rápido, te animamos a postularte a esta emocionante oportunidad en el núcleo de MSL.
Responsabilidades
- Curar e integrar benchmarks disponibles públicamente e internos para dirigir las capacidades del desarrollo de modelos de vanguardia.
- Desarrollar e implementar entornos de evaluación, incluyendo entornos para capacidades y modalidades de modelos novedosas.
- Colaborar con proveedores de datos externos para obtener y preparar conjuntos de datos de evaluación de alta calidad.
- Ejecutar la visión técnica de científicos de investigación que diseñan nuevos benchmarks y evaluaciones.
- Construir pipelines de evaluación robustos y reutilizables que escalen a través de múltiples líneas de modelos y áreas de producto.
- Contribuir a herramientas de evaluación que midan la calidad y fiabilidad de los conjuntos de evaluación.
Cualificaciones Mínimas
- Título de Grado en Ciencias de la Computación, Ingeniería Informática, campo técnico relevante o experiencia práctica equivalente.
- 3+ años de experiencia en ingeniería de machine learning, investigación de machine learning o un rol técnico relacionado.
- Dominio de Python y experiencia con frameworks de ML como PyTorch.
- Experiencia en la identificación, diseño y finalización de características técnicas de tamaño mediano a grande de forma independiente, sin supervisión.
- Experiencia demostrada en prácticas de ingeniería de software, incluyendo control de versiones, pruebas y prácticas de revisión de código.
- Capacidad para trabajar de forma independiente y adaptarse a prioridades que cambian rápidamente.
Cualificaciones Preferidas
- Publicaciones en sedes revisadas por pares (NeurIPS, ICML, ICLR, ACL, EMNLP o similar) relacionadas con la evaluación de modelos de lenguaje, benchmarking o deep learning.
- Experiencia práctica con post-entrenamiento de modelos de lenguaje y sistemas de deep learning, o en la construcción de entornos de aprendizaje por refuerzo.
- Experiencia implementando o desarrollando benchmarks de evaluación para modelos de lenguaje grandes y modelos multimodales (por ejemplo, visión-lenguaje, audio, vídeo).
- Experiencia trabajando con sistemas distribuidos a gran escala y pipelines de datos.
- Familiaridad con frameworks y métricas de evaluación de modelos de lenguaje.
- Historial de contribuciones de código abierto a herramientas o benchmarks de evaluación de ML.
$154,003/año a $217,000/año + bonus + acciones + beneficios
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil