Estados Unidos
The MITRE Corporation
Meta
Engenheiro de Pesquisa - MSL FAIR Foundations
Estados Unidos
Menlo Park, California, United States · New York, New York, United States · Seattle, Washington, United States
Python
Tradução automática. Consulte o original.
Sobre a oportunidade
A Meta está em busca de Engenheiros de Pesquisa para integrar a equipe de Avaliações dentro dos laboratórios de Superinteligência da Meta.
As avaliações são o núcleo do progresso em IA na MSL, determinando quais capacidades são desenvolvidas, quais recursos são priorizados e a velocidade com que nossos modelos evoluem.
Como Engenheiro de Pesquisa nesta equipe, você irá curar e construir os benchmarks para nossos modelos de IA mais avançados, abrangendo texto, visão, áudio e muito mais.
Você trabalhará ao lado de pesquisadores e engenheiros de classe mundial para coletar, desenvolver e implementar novos benchmarks e ambientes de aprendizado por reforço.
Esta é uma função altamente técnica que exige sólidas habilidades de engenharia de pesquisa e a capacidade de trabalhar de forma independente em uma variedade de desafios de machine learning com alta confiabilidade.
As avaliações que você construir impactarão diretamente a direção da pesquisa e as principais linhas de modelos dentro da MSL, tornando a confiabilidade, o rigor e a escalabilidade da engenharia fundamentais.
Você se destacará mantendo uma alta velocidade enquanto se adapta a prioridades que mudam rapidamente à medida que avançamos na fronteira da pesquisa técnica.
Você precisará ser flexível e adaptável, lidando com uma ampla variedade de problemas na área de avaliações, desde a implementação de benchmarks existentes até o desenvolvimento de novos benchmarks e ambientes, além da implementação de ferramentas de avaliação em escala.
Se você é apaixonado por definir as capacidades que impulsionam o progresso da IA e prospera em ambientes de pesquisa dinâmicos e de alto impacto, nós o incentivamos a se candidatar a esta oportunidade empolgante no núcleo da MSL.
Responsabilidades
- Curar e integrar benchmarks públicos e internos para direcionar as capacidades do desenvolvimento de modelos de fronteira
- Desenvolver e implementar ambientes de avaliação, incluindo ambientes para novas capacidades e modalidades de modelos
- Colaborar com fornecedores externos de dados para obter e preparar conjuntos de dados de avaliação de alta qualidade
- Executar a visão técnica de cientistas pesquisadores que projetam novos benchmarks e avaliações
- Construir pipelines de avaliação robustos e reutilizáveis que escalam em múltiplas linhas de modelos e áreas de produtos
- Contribuir para ferramentas de avaliação que medem a qualidade e a confiabilidade dos conjuntos de avaliação
Qualificações Mínimas
- Bacharelado em Ciência da Computação, Engenharia da Computação, área técnica relevante ou experiência prática equivalente
- 3+ anos de experiência em engenharia de machine learning, pesquisa em machine learning ou função técnica relacionada
- Proficiência em Python e experiência com frameworks de ML, como PyTorch
- Experiência em identificar, projetar e concluir recursos técnicos de médio a grande porte de forma independente, sem orientação
- Experiência comprovada em práticas de engenharia de software, incluindo controle de versão, testes e práticas de revisão de código
- Capacidade de trabalhar de forma independente e se adaptar a prioridades que mudam rapidamente
Qualificações Preferenciais
- Publicações em locais revisados por pares (NeurIPS, ICML, ICLR, ACL, EMNLP ou similares) relacionadas à avaliação de modelos de linguagem, benchmarking ou deep learning
- Experiência prática com pós-treinamento de modelos de linguagem e sistemas de deep learning, ou construção de ambientes de aprendizado por reforço
- Experiência na implementação ou desenvolvimento de benchmarks de avaliação para grandes modelos de linguagem e modelos multimodais (por exemplo, visão-linguagem, áudio, vídeo)
- Experiência trabalhando com sistemas distribuídos de grande escala e pipelines de dados
- Familiaridade com frameworks e métricas de avaliação de modelos de linguagem
- Histórico de contribuições de código aberto para ferramentas ou benchmarks de avaliação de ML
$154,003/ano a $217,000/ano + bônus + participação acionária + benefícios
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil