The MITRE Corporation
Apple
Spécialiste de l'évaluation ML, Données Humaines
À propos du poste
Chez Apple, nous ne nous contentons pas de créer des produits — nous créons des expériences alimentées par des données de classe mondiale.
L'équipe IA centrée sur l'humain au sein de l'ingénierie des services Apple recherche un Spécialiste de l'évaluation ML, Données Humaines pour rejoindre notre division Qualité et Opérations des Données afin de diriger des opérations complexes impliquant plusieurs parties prenantes, spécialisées dans la collecte, la curation, l'annotation et l'évaluation humaine des données pour Apple Music, App Store, TV+, Podcasts et Books.
Le candidat idéal apporte une combinaison rare de profondeur technique et de compétences en exécution de programmes.
Vous vous souciez profondément de la qualité des données et de l'alignement humain, vous avez une approche créative et systématique pour trouver et résoudre les problèmes, et vous trouvez de la motivation dans un travail varié dont l'impact se reflète dans les expériences quotidiennes de Apple.
Le candidat idéal apporte une combinaison rare de profondeur technique et de compétences en exécution de programmes.
Vous vous souciez profondément de la qualité des données et de l'alignement humain, vous avez une approche créative et systématique pour trouver et résoudre les problèmes, et vous trouvez de la motivation dans un travail varié dont l'impact se reflète dans les expériences quotidiennes de Apple.
DESCRIPTION
Dans ce rôle, vous serez responsable de la stratégie opérationnelle et de l'amélioration continue de programmes de données humaines multilingues à grande échelle, de la conception d'échafaudages d'intégration qui développent progressivement la calibration des annotateurs, à l'analyse des modèles de comportement des annotateurs pour identifier où l'automatisation peut décharger les décisions à faible jugement, en passant par l'application de cadres de qualité qui bouclent la boucle entre les difficultés de l'annotateur et la refonte des tâches.
Vous identifierez où le jugement humain est essentiel et où il pourrait être mieux dirigé, puis vous construirez l'échafaudage, l'automatisation et les systèmes de rétroaction qui permettront aux annotateurs de concentrer leur énergie cognitive là où elle est le plus nécessaire.
Comme ce travail touche à l'ingénierie, à la science des données, à la recherche, à l'approvisionnement et au juridique, une partie essentielle du rôle consiste à servir de lien entre les équipes qui possèdent chacune une partie de cet espace, en s'alignant sur des normes communes, en identifiant les lacunes et en veillant à ce que les informations provenant de la couche d'annotation éclairent les décisions en amont concernant la conception des tâches et les outils.
Vous apporterez un point de vue sur les meilleures pratiques en matière de données humaines et le traduirez en approches évolutives et centrées sur l'humain qui rendent les fonctionnalités d'IA générative plus sûres et plus fiables.
Vous êtes à l'aise pour concevoir et déployer des pipelines de données sophistiqués le matin, puis passer en toute transparence à la présentation de stratégies complètes de rectification de la qualité aux parties prenantes l'après-midi.
Dans ce rôle, vous serez responsable de la stratégie opérationnelle et de l'amélioration continue de programmes de données humaines multilingues à grande échelle, de la conception d'échafaudages d'intégration qui développent progressivement la calibration des annotateurs, à l'analyse des modèles de comportement des annotateurs pour identifier où l'automatisation peut décharger les décisions à faible jugement, en passant par l'application de cadres de qualité qui bouclent la boucle entre les difficultés de l'annotateur et la refonte des tâches.
Vous identifierez où le jugement humain est essentiel et où il pourrait être mieux dirigé, puis vous construirez l'échafaudage, l'automatisation et les systèmes de rétroaction qui permettront aux annotateurs de concentrer leur énergie cognitive là où elle est le plus nécessaire.
Comme ce travail touche à l'ingénierie, à la science des données, à la recherche, à l'approvisionnement et au juridique, une partie essentielle du rôle consiste à servir de lien entre les équipes qui possèdent chacune une partie de cet espace, en s'alignant sur des normes communes, en identifiant les lacunes et en veillant à ce que les informations provenant de la couche d'annotation éclairent les décisions en amont concernant la conception des tâches et les outils.
Vous apporterez un point de vue sur les meilleures pratiques en matière de données humaines et le traduirez en approches évolutives et centrées sur l'humain qui rendent les fonctionnalités d'IA générative plus sûres et plus fiables.
Vous êtes à l'aise pour concevoir et déployer des pipelines de données sophistiqués le matin, puis passer en toute transparence à la présentation de stratégies complètes de rectification de la qualité aux parties prenantes l'après-midi.
QUALIFICATIONS MINIMALES
- Diplôme de licence ou supérieur en sciences cognitives, linguistique ou dans un domaine connexe incluant une composante expérimentale ou empirique
- 4+ années d'expérience dans la définition et la direction de programmes de données humaines inter-équipes pour l'IA/ML, y compris les opérations d'annotation, les cadres de qualité et les stratégies d'évaluation, dans un environnement NLP/NLU ou d'IA générative
- Maîtrise des langages de programmation et de données (Python, R, SQL) pour traiter, analyser, interroger de grands ensembles de données, extraire des informations, automatiser des tâches et surveiller les performances du programme
- Expérience pratique dans la conception et la gestion d'initiatives de collecte, d'annotation et d'évaluation de données en boucle humaine 0→1, y compris la conduite et l'intégration de flux de travail agiles pour améliorer la qualité et l'évolutivité
- Expérience de travail avec divers types de données (par exemple, parole, texte, multimodal) dans plusieurs langues
- Expertise dans la gestion de la qualité des annotations de données de bout en bout, y compris la capacité à développer des contrôles de processus statistiques et des métriques de qualité des données
- Connaissance des pratiques de manipulation de données respectueuses de la vie privée et des cadres de conformité
- Succès démontré dans l'optimisation des pipelines et des flux de travail de données pour améliorer la qualité, réduire les délais et faire évoluer les opérations
- Expérience de travail interfonctionnel avec l'ingénierie, la science des données, le juridique, la confidentialité et les fournisseurs tiers
QUALIFICATIONS PRÉFÉRENTIELLES
- Master ou diplôme supérieur en sciences cognitives, linguistique ou dans un domaine connexe incluant une composante expérimentale ou empirique
- 2+ années d'expérience dans la définition de la stratégie de données pour le développement et l'évaluation d'IA de pointe, avec une expérience des méthodologies d'alignement humain et des systèmes GenAI agiles
- Expérience dans la gestion de partenaires externes (fournisseurs ou main-d'œuvre) à grande échelle
- Connaissance des principes de sécurité de l'IA et d'IA responsable, y compris l'expérience de leur application aux flux de travail de collecte ou d'annotation de données
- Solides compétences organisationnelles et état d'esprit axé sur l'exécution ; capacité à équilibrer l'attention aux détails avec une vision d'ensemble dans un environnement où la portée et les priorités du programme évoluent rapidement
- Excellentes compétences en communication écrite et verbale ; capacité à traduire des concepts techniques pour des parties prenantes non techniques
