Mexique
DYOPATH
Prolific
Ingénieur Qualité Données Humaines (Équipe Fondatrice)
Mexique
Mexico
PythonSQL
Traduction automatique. Consultez l’original.
Le Rôle
Ingénieur Qualité Données Humaines (Équipe Fondatrice)
Prolific Prolific ne se contente pas de permettre l'innovation en IA – nous la redéfinissons. Alors que les technologies fondamentales d'IA deviennent des commodités, l'infrastructure de données humaines de Prolific fournit les données diverses et de haute qualité nécessaires pour entraîner la prochaine génération de modèles d'IA. Grâce à notre plateforme, nous donnons aux chercheurs et aux entreprises les moyens d'accéder à une base de participants mondiale, organisée de manière éthique, garantissant une recherche et une formation en IA de pointe fondées sur l'inclusivité et la précision.
En tant que membre fondateur de la nouvelle équipe de services de données IA de Prolific, vous contribuerez à construire les systèmes de qualité derrière certains des modèles d'IA les plus avancés au monde. La qualité des données est une priorité stratégique pour Prolific, il s'agit donc d'un rôle à forte visibilité avec une exposition directe aux parties prenantes seniors. Ce n'est pas un rôle QA traditionnel. Nous ne recherchons pas quelqu'un pour examiner les données par rapport à une liste de contrôle prédéfinie. Nous recherchons un penseur innovant qui peut tirer parti de son expertise pour définir ce que signifie « bon » là où aucune définition n'existe encore.
Agissant en tant que partenaire de réflexion stratégique, vous travaillerez à l'intersection des données humaines, du machine learning, de l'évaluation à travers des cas d'utilisation de pointe qui définissent ce à quoi ressemble une donnée humaine de haute qualité pour la prochaine génération d'IA avancée. Cela signifie qu'une grande partie du travail implique des problèmes nouveaux sans réponse établie, vous serez donc à l'aise pour travailler dans l'ambiguïté.
Pourquoi Prolific est un excellent endroit où travailler
Nous avons construit une plateforme unique qui connecte les chercheurs et les entreprises à un pool mondial de participants, permettant la collecte de données comportementales humaines et de retours d'information de haute qualité et d'origine éthique. Ces données sont la pierre angulaire du développement de systèmes d'IA plus précis, nuancés et alignés.
Nous pensons que le prochain bond en avant des capacités de l'IA ne viendra pas uniquement de la mise à l'échelle des modèles existants, mais de l'intégration de diverses perspectives et comportements humains dans le développement de l'IA. En fournissant cette infrastructure cruciale de données humaines, Prolific se positionne à l'avant-garde de la prochaine vague d'innovation en IA – une vague qui reflète l'étendue et le meilleur de l'humanité.
Travailler pour nous vous placera à l'avant-garde de l'innovation en IA, vous donnant accès à notre plateforme unique de données humaines et à des opportunités de recherche révolutionnaire.
Ce que vous ferez
Votre objectif principal est de travailler directement avec les clients et aux côtés des laboratoires d'IA de pointe, en traduisant ce dont leurs modèles ont besoin en stratégies robustes de données humaines et d'évaluation. Plutôt que de vérifier la qualité à la fin d'un projet, vous intégrerez la qualité à chaque étape du cycle de vie, de la conception de l'étude et de la stratégie des participants à l'évaluation, la préparation au lancement et la livraison au client. Vous travaillerez également aux côtés de nos équipes produit, ingénierie et approvisionnement pour définir et construire l'infrastructure de qualité qui nous permettra de fournir des données humaines de haute qualité à grande échelle.
Une grande partie du travail que vous aborderez n'aura pas de manuel existant. Vous aiderez à le créer.
- Concevoir les cadres de qualité qui sous-tendent des programmes complexes de données humaines, des grilles d'évaluation à la préparation au lancement.
- Travailler avec les clients en tant que partenaire de réflexion stratégique, en remettant en question les schémas d'annotation et les exigences de données lorsqu'ils ne produiront pas le signal dont le modèle a besoin.
- Conseiller sur la conception des projets et sur la manière dont le choix du schéma peut impacter la qualité des données.
- Construire la qualité en amont dans le flux de travail opérationnel, du recrutement, de la sélection et de la formation à la rédaction de directives et à l'organisation de sessions de calibration.
- Construire des systèmes de qualité évolutifs, des cadres de mesure et des vérifications automatisées en utilisant Python et SQL.
- Collaborer avec le produit et l'ingénierie pour construire l'infrastructure de qualité qui fournit des données humaines de haute qualité à grande échelle.
- Enquêter sur les problèmes de qualité et d'intégrité des données, identifier les causes profondes et transformer les informations en améliorations évolutives.
- Architecturer et construire des tableaux de bord, une surveillance et des rapports qui offrent une visibilité claire sur la qualité et les performances opérationnelles.
- Élever la capacité de qualité dans toute l'entreprise, en formant les opérations et en agissant comme mentor auprès des analystes juniors.
- Contribuer à définir comment Prolific aborde la qualité dans de nouveaux domaines d'IA, en façonnant les meilleures pratiques à mesure que l'équipe grandit.
Ce que vous apporterez au rôle
- 5+ années d'expérience dans la construction de systèmes de qualité, d'évaluation ou d'annotation dans des environnements d'IA, de machine learning, de LLMs ou de données humaines.
- Solides compétences en Python et SQL, avec une passion pour l'utilisation des données afin de résoudre des problèmes de qualité complexes.
- Une solide compréhension des pipelines de machine learning et de la manière dont les données humaines impactent les performances du modèle.
- Solide pensée analytique et statistique, avec une expérience dans la conception de cadres de qualité évolutifs.
- La confiance et la crédibilité nécessaires pour interagir avec les parties prenantes des laboratoires de pointe et agir en tant que partenaire.
- La capacité à tirer parti de votre expérience et de votre expertise pour influencer et guider les parties prenantes à tous les niveaux, tant côté client qu'en interne.
- La capacité à transformer votre propre analyse de données et votre méthodologie de qualité en exigences que le produit et l'ingénierie peuvent intégrer dans les systèmes.
- La capacité à expliquer clairement votre analyse de données et vos conclusions aux parties prenantes non techniques, afin qu'elles puissent agir en conséquence.
- Un état d'esprit proactif et constructeur – vous aimez créer de nouveaux systèmes, naviguer dans l'ambiguïté et améliorer le fonctionnement des choses.
Encore mieux si vous avez
- Expérience avec l'évaluation de LLM, RLHF, la sécurité de l'IA ou le red teaming.
- Expérience dans la traduction d'objectifs vagues de modèles ou d'évaluation en spécifications d'annotation claires.
- Expérience de travail avec des programmes d'annotation humaine ou des opérations de données humaines.
- Familiarité avec la calibration, l'accord inter-juges, la détection de dérive ou d'autres méthodologies d'évaluation.
Rejoignez-nous pour profiter d'un salaire compétitif, d'avantages sociaux et du travail à distance au sein de notre culture axée sur la mission et à fort impact. Chez Prolific, nos packages de rémunération pour les postes éligibles comprennent un salaire de base, des actions et des avantages sociaux. De nombreux postes offrent également la possibilité de gagner un élément variable en espèces, tel qu'une prime ou une commission. Chaque offre d'emploi affiche une fourchette de salaire qui reflète le minimum et le maximum cibles pour les nouveaux employés, en fonction de l'emplacement du poste ainsi que de vos compétences, de votre expérience et de votre formation ou éducation pertinente. Votre recruteur sera également heureux de partager la fourchette de salaire spécifique pour votre emplacement préféré pendant le processus d'embauche.
Liens pour plus d'informations
- Site Web
- Youtube
- Avantages sociaux
- Manuel externe
- Déclaration de confidentialité
En soumettant votre candidature, vous acceptez que Prolific puisse collecter vos données personnelles à des fins de recrutement et de planification organisationnelle mondiale. L'avis de confidentialité des candidats de Prolific explique quelles informations personnelles Prolific peut traiter, où Prolific peut traiter vos informations personnelles, ses objectifs de traitement de vos informations personnelles et les droits que vous pouvez exercer sur l'utilisation de vos informations personnelles par Prolific.
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil