Estados Unidos
B&A
Fetch
Engenheiro de ML Operations Sênior II - Plataforma de Anúncios
RemotoEstados Unidos
United States
PythonSQLKubernetesGoTerraform
Tradução automática. Consulte o original.
SOBRE A VAGA
A Fetch está entrando em sua era de prioridade em IA, construindo os sistemas inteligentes que impulsionam a personalização, relevância e classificação em nossa Plataforma de Anúncios. Esses sistemas ajudam a Fetch a entregar experiências mais relevantes, adaptáveis e de alto desempenho para milhões de usuários, ao mesmo tempo em que criam valor mensurável para os anunciantes.
Como Engenheiro de MLOps Sênior, você será responsável pela base operacional que leva modelos de classificação e recomendação da fase de experimentação para sistemas de produção confiáveis. Você trabalhará em parceria com as equipes de Ciência de Dados, Produto, Plataforma e Engenharia durante todo o ciclo de vida do modelo, incluindo treinamento reprodutível, validação, implantação, versionamento, monitoramento, retreinamento e desativação.
Esta é uma função de liderança técnica prática que atua na interseção entre infraestrutura de ML, personalização e sistemas distribuídos de larga escala. Você construirá pipelines reutilizáveis, fortalecerá a observabilidade e os fluxos de trabalho de aprendizado em tempo real, estabelecerá padrões de arquitetura e confiabilidade, e tornará a saúde e o progresso dos modelos acessíveis por meio de um hub de modelos compartilhado. Seu trabalho permitirá que a Plataforma de Anúncios da Fetch se torne mais inteligente, rápida e responsiva ao comportamento variável dos usuários ao longo do tempo.
RESPONSABILIDADES DA FUNÇÃO
- Ser responsável pelo ciclo de vida completo do modelo, desde a experimentação até a validação, implantação, versionamento, retreinamento, reversão e desativação.
- Estabelecer critérios claros de promoção de modelos, processos de lançamento e caminhos de reversão que permitam às equipes entregar melhorias com confiança.
- Projetar e construir pipelines escaláveis de dados de ML e engenharia de atributos, incluindo geração de atributos, agregações históricas e construção de conjuntos de dados de treinamento, usando Spark/PySpark e tecnologias modernas de lakehouse, como S3 e Apache Iceberg.
- Desenvolver pipelines de processamento de dados incrementais e confiáveis com suporte para validação de qualidade de dados, linhagem, correção pontual e consistência de atributos entre treinamento e serviço.
- Construir monitoramento para qualidade de dados, desvio (drift), qualidade de predição, confiabilidade de serviço, latência e custo de infraestrutura.
- Trabalhar em parceria com cientistas de dados para definir sinais de avaliação offline e de produção significativos, inclusive para casos de uso com rótulos de resultados atrasados.
- Usar evidências de produção para melhorar o desempenho do modelo, a confiabilidade da plataforma, a velocidade de implantação e a eficiência da infraestrutura.
- Construir pipelines reutilizáveis de treinamento, avaliação e implantação que suportem múltiplos modelos e abordagens de modelagem.
- Desenvolver fluxos de trabalho de orquestração confiáveis que cubram dependências, agendamento, novas tentativas, preenchimentos de dados (backfills) e recuperação de falhas.
- Traduzir requisitos científicos em sistemas de produção sustentáveis com interfaces, responsabilidades e expectativas operacionais claras.
- Construir e manter um hub de modelos acessível que conecte a documentação do modelo, resultados de avaliação, histórico de lançamentos, versionamento e monitoramento.
- Criar fluxos de trabalho de CI/CD testados, ambientes reprodutíveis, alertas acionáveis, procedimentos de resposta a incidentes e manuais operacionais (runbooks).
- Definir prioridades de MLOps em parceria com Ciência de Dados e Engenharia, identificando riscos antes que se tornem problemas de produção.
- Estabelecer padrões de engenharia reutilizáveis, orientar colegas de equipe e reduzir a carga operacional colocada sobre os cientistas de dados.
REQUISITOS MÍNIMOS
- 5+ anos de experiência na construção e operação de sistemas de ML em produção além da implantação inicial, incluindo monitoramento, retreinamento, resposta a incidentes e melhoria contínua.
- Fortes habilidades de desenvolvimento de software em produção em Python e proficiência em SQL.
- Experiência prática com Spark/PySpark para processamento de dados distribuídos em larga escala, incluindo engenharia de atributos, agregações históricas, processamento incremental e construção de conjuntos de dados de treinamento.
- Experiência com arquiteturas modernas de data lake ou lakehouse, incluindo S3, Apache Iceberg ou tecnologias equivalentes.
- Experiência com um motor de orquestração de fluxo de trabalho para agendamento, gerenciamento de dependências, novas tentativas, preenchimentos de dados (backfills) e recuperação.
- Experiência prática na construção de infraestrutura com Terraform.
- Experiência na implantação e operação de cargas de trabalho em produção conteinerizadas no Kubernetes.
- Experiência na construção de infraestrutura reutilizável de treinamento, avaliação ou implantação usada por múltiplos modelos, cientistas ou equipes.
- Experiência na implementação de versionamento de modelos e conjuntos de dados, rastreamento de experimentos, linhagem e lançamentos reprodutíveis.
- Capacidade de distinguir falhas de serviço ou infraestrutura de mudanças na eficácia do modelo.
- Experiência na construção de pipelines de CI/CD, monitoramento, alertas, mecanismos de reversão e procedimentos de recuperação para sistemas de ML em produção.
- Capacidade demonstrada de equilibrar qualidade do modelo, velocidade de entrega, confiabilidade e custo de infraestrutura.
- Forte comunicação multifuncional e experiência em parceria com cientistas de dados para preservar a validade científica à medida que os modelos entram em produção.
- Capacidade de explicar um incidente de produção ou problema de degradação de modelo, como foi detectado e quais melhorias foram implementadas posteriormente.
REQUISITOS DESEJÁVEIS
- Experiência no desenvolvimento de serviços de plataforma, infraestrutura ou ferramentas internas em Go.
- Experiência na construção ou gestão de um registro de modelos, hub de modelos ou sistema similar usado por partes interessadas técnicas e não técnicas.
- Experiência no suporte a sistemas de ML onde os rótulos de resultados são atrasados ou a qualidade do modelo não pode ser medida imediatamente.
- Histórico de melhoria na velocidade de implantação, qualidade do modelo, confiabilidade do sistema, custo de infraestrutura ou esforço operacional manual.
- Experiência no projeto de infraestrutura de ML configurável que suporte diversas estruturas ou abordagens de modelagem.
- Evidência de que a infraestrutura reutilizável, padrões ou documentação foram adotados por várias equipes.
- Experiência na orientação de engenheiros ou cientistas de dados e na influência de prioridades técnicas em um portfólio de ML.
- Experiência de trabalho em ambientes com informações sensíveis e no projeto de documentação ou monitoramento em torno de limites de acesso apropriados.
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil