México
Cummins
Prolific
Engenheiro(a) de Qualidade de Dados Humana (Equipe Fundadora)
México
Mexico
PythonSQL
Tradução automática. Consulte o original.
A Posição
Engenheiro(a) de Qualidade de Dados Humana (Equipe Fundadora)
Prolific Prolific não está apenas viabilizando a inovação em IA – estamos a redefinindo. Enquanto as tecnologias fundamentais de IA estão se tornando comoditizadas, a infraestrutura de dados humanos da Prolific fornece os dados diversos e de alta qualidade necessários para treinar a próxima geração de modelos de IA. Através da nossa plataforma, capacitamos pesquisadores e empresas a acessar uma base global de participantes, curada eticamente, garantindo pesquisa e treinamento de IA de ponta, fundamentados em inclusividade e precisão.
Como um dos membros fundadores da recém-formada equipe de Serviços de Dados de IA da Prolific, você ajudará a construir os sistemas de qualidade por trás de alguns dos modelos de IA mais avançados do mundo. A qualidade dos dados é uma prioridade estratégica para a Prolific, portanto, esta é uma posição de alta visibilidade com exposição direta a stakeholders seniores. Esta não é uma função tradicional de QA. Não estamos procurando alguém para revisar dados contra uma lista de verificação predefinida. Estamos procurando um pensador inovador que possa alavancar sua expertise para definir o que é bom onde ainda não existe definição.
Atuando como um parceiro estratégico de pensamento, você trabalhará na intersecção de dados humanos, machine learning, avaliação em casos de uso de ponta que definem como é a qualidade de dados humanos para a próxima geração de IA avançada. Isso significa que grande parte do trabalho envolve problemas novos sem resposta estabelecida, então você se sentirá confortável trabalhando em meio à ambiguidade.
Por que a Prolific é um ótimo lugar para trabalhar
Construímos uma plataforma única que conecta pesquisadores e empresas a um pool global de participantes, permitindo a coleta de dados comportamentais e feedback humanos de alta qualidade e eticamente obtidos. Esses dados são a base para o desenvolvimento de sistemas de IA mais precisos, nuançados e alinhados.
Acreditamos que o próximo salto nas capacidades de IA não virá apenas do escalonamento dos modelos existentes, mas da integração de diversas perspectivas e comportamentos humanos no desenvolvimento de IA. Ao fornecer essa infraestrutura crucial de dados humanos, a Prolific está se posicionando na vanguarda da próxima onda de inovação em IA – uma que reflete a amplitude e o melhor da humanidade.
Trabalhar conosco o colocará na vanguarda da inovação em IA, fornecendo acesso à nossa plataforma única de dados humanos e oportunidades para pesquisas inovadoras.
O que você fará
Seu foco principal é trabalhar diretamente com clientes e ao lado de laboratórios de IA de ponta, traduzindo o que seus modelos precisam em dados humanos robustos e estratégias de avaliação. Em vez de verificar a qualidade no final de um projeto, você irá projetar a qualidade em cada etapa do ciclo de vida, desde o design do estudo e estratégia de participantes até a avaliação, prontidão para lançamento e entrega ao cliente. Você também trabalhará ao lado de nossas equipes de engenharia de produto e de suprimentos para definir e construir a infraestrutura de qualidade que nos permitirá entregar dados humanos de alta qualidade em escala.
Grande parte do trabalho que você abordará não terá um manual existente. Você ajudará a criá-lo.
- Projetar os frameworks de qualidade que sustentam programas complexos de dados humanos, desde rubricas de avaliação até prontidão para lançamento.
- Trabalhar com clientes como um parceiro estratégico de pensamento, desafiando esquemas de anotação e requisitos de dados quando eles não produzirem o sinal que o modelo precisa.
- Aconselhar sobre o design do projeto e como a escolha do esquema pode impactar a qualidade dos dados.
- Construir qualidade upstream em todo o fluxo de trabalho operacional, desde recrutamento, triagem e treinamento até a escrita de diretrizes e execução de sessões de calibração.
- Construir sistemas de qualidade escaláveis, frameworks de medição e verificações automatizadas usando Python e SQL.
- Parceria com produto e engenharia para construir a infraestrutura de qualidade que entrega dados humanos de alta qualidade em escala.
- Investigar problemas de qualidade e integridade de dados, identificando causas raiz e transformando insights em melhorias escaláveis.
- Arquitetar e construir dashboards, monitoramento e relatórios que forneçam visibilidade clara sobre a qualidade e o desempenho operacional.
- Elevar a capacidade de qualidade em toda a empresa, aprimorando as operações e atuando como mentor de pensamento para analistas juniores.
- Ajudar a definir como a Prolific aborda a qualidade em novos domínios de IA, moldando as melhores práticas à medida que a equipe cresce.
O que você trará para a Posição
- 5+ anos de experiência na construção de sistemas de qualidade, avaliação ou anotação em ambientes de IA, machine learning, LLMs ou dados humanos.
- Fortes habilidades em Python e SQL, com paixão por usar dados para resolver problemas complexos de qualidade.
- Um sólido entendimento de pipelines de machine learning e como os dados humanos impactam o desempenho do modelo.
- Forte pensamento analítico e estatístico, com experiência em projetar frameworks de qualidade escaláveis.
- A confiança e credibilidade para interagir com stakeholders em laboratórios de ponta e atuar como parceiro.
- A capacidade de alavancar sua experiência e expertise para influenciar e orientar stakeholders em todos os níveis, tanto do lado do cliente quanto internamente.
- A capacidade de transformar sua própria análise de dados e metodologia de qualidade em requisitos que produto e engenharia possam incorporar em sistemas.
- A capacidade de explicar sua análise de dados e descobertas claramente para stakeholders não técnicos, para que eles possam agir sobre elas.
- Uma mentalidade proativa e de construtor – você gosta de criar novos sistemas, navegar pela ambiguidade e melhorar como as coisas funcionam.
Melhor ainda se você tiver
- Experiência com avaliação de LLM, RLHF, segurança de IA ou red teaming.
- Experiência em traduzir metas vagas de modelo ou avaliação em especificações de anotação claras.
- Experiência trabalhando com programas de anotação humana ou operações de dados humanos.
- Familiaridade com calibração, acordo inter-avaliadores, detecção de drift ou outras metodologias de avaliação.
Junte-se a nós para desfrutar de um salário competitivo, benefícios e trabalho remoto dentro de nossa cultura impactante e orientada por missão. Na Prolific, nossos pacotes de remuneração para cargos elegíveis incluem salário base, ações (equity) e benefícios. Muitos cargos também incluem a oportunidade de ganhar um elemento variável em dinheiro, como bônus ou comissão. Cada anúncio de vaga mostra uma faixa salarial que reflete o mínimo e o máximo alvo para novos contratados, com base na localização do cargo, bem como em suas habilidades, experiência e educação ou treinamento relevantes. Seu recrutador também ficará feliz em compartilhar a faixa salarial específica para sua localização preferida durante o processo de contratação.
Links para Mais Informações
- Website
- Youtube
- Benefícios
- Manual Externo
- Declaração de Privacidade
Ao enviar sua candidatura, você concorda que a Prolific pode coletar seus dados pessoais para recrutamento e planejamento organizacional global. O Aviso de Privacidade do Candidato da Prolific explica quais informações pessoais a Prolific pode processar, onde a Prolific pode processar suas informações pessoais, seus propósitos para processar suas informações pessoais e os direitos que você pode exercer sobre o uso de suas informações pessoais pela Prolific.
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil
