Canada
TSMC
LawZero
Développeur Senior en Traitement de Données ML
Canada
Montreal, Quebec, Canada
PythonDockerKubernetes
Traduction automatique. Consultez l’original.
À propos du poste
Nous recherchons un Développeur Senior en Traitement de Données ML
pour participer au développement, à la curation et à la mise à l'échelle de notre pipeline d'actifs de données principal. Situé à l'intersection de l'ingénierie des données, de la curation des données et du machine learning, vous serez responsable de l'ensemble du pipeline qui transforme les données brutes à l'échelle du web en ensembles de données à haute valeur informative utilisés pour entraîner le Scientist AI.
Dans ce rôle, vous ne gérerez pas seulement les données ; vous en assurerez la qualité par l'ingénierie. Vous concevrez des filtres algorithmiques, construirez des mécanismes de scoring basés sur des modèles et garantirez une intégrité rigoureuse des benchmarks pour alimenter la prochaine génération d'IA. Et alors que nos modèles repoussent les limites des paradigmes établis, vous concevrez et implémenterez des transformations de données novatrices pour lesquelles il n'existe pas encore de méthodologies, travaillant à la frontière de ce que peuvent être les données d'entraînement.
Nous recrutons plusieurs personnes pour ce poste, et les responsabilités pourront être réparties au sein de l'équipe en fonction de l'expérience, des compétences et des intérêts individuels.
RESPONSABILITÉS PRINCIPALES
- Collaborer avec l'équipe de Recherche pour définir, construire, automatiser, mettre à l'échelle et gérer les pipelines de données qui transforment les données brutes à l'échelle du web en ensembles de données d'entraînement pour le Scientist AI.
- Construire et maintenir des pipelines de traitement de données, y compris la déduplication, le scoring de qualité basé sur des modèles, le filtrage heuristique, le nettoyage de données personnelles (PII), l'extraction de métadonnées et les transformations de données propriétaires, avec un versionnement complet des ensembles de données et un suivi de provenance, en optimisant le débit et les coûts à grande échelle.
- S'assurer que toutes les données ingérées respectent les exigences de conformité, les politiques internes de gouvernance des données et les obligations légales.
- Développer et affiner la chaîne d'outils de scoring et de filtrage : heuristiques, évaluateurs basés sur le LLM, classificateurs ML, modules d'extraction de métadonnées et flux de revue par intervention humaine (human-in-the-loop) requis pour le traitement des données et l'assurance qualité.
- Instrumenter les pipelines de traitement de données avec une surveillance de la qualité des données, des garde-fous et des alertes pour détecter les régressions avant qu'elles ne se propagent en aval.
- Collaborer avec l'équipe de Recherche et d'autres équipes pour comprendre les besoins évolutifs en matière de données, puis identifier et acquérir des corpus de textes à grande échelle qui répondent à ces besoins. Cela inclut la réalisation d'analyses systématiques de couverture pour identifier les lacunes dans le corpus et le développement de stratégies d'acquisition ciblées pour y remédier, ainsi que la collaboration avec l'équipe Juridique et Gouvernance pour licencier de nouvelles sources de données.
- Concevoir et maintenir des mécanismes stricts de détection de fuites pour se prémunir contre la contamination de l'évaluation à toutes les étapes du pipeline de traitement des données.
- Construire des outils et des interfaces internes permettant aux chercheurs d'explorer, d'interroger et de comprendre les ensembles de données disponibles avec une friction minimale.
COMPÉTENCES ET QUALIFICATIONS
- Diplôme en informatique, en génie logiciel ou dans un domaine connexe.
- Expérience avérée dans la manipulation d'énormes ensembles de données textuelles non structurées (échelle de trillions de tokens), avec 5+ années d'expérience en traitement de données, en ingénierie machine learning ou en traitement automatique du langage naturel (TALN).
- Expérience pratique des frameworks de traitement distribué (par exemple, Spark, Ray, Flink), conception et optimisation de pipelines à haut débit.
- Expérience dans la mise en œuvre de la confidentialité des données (nettoyage PII), du filtrage de sécurité du contenu (toxicité, biais) et de la prévention de la contamination de l'évaluation.
- Capacité démontrée à travailler en collaboration avec les équipes de Recherche, d'Ingénierie et/ou Juridique/Gouvernance, en traduisant des exigences variées en travaux concrets de pipeline.
- Solide maîtrise de Python, y compris l'expérience de l'écriture de code de traitement de données de qualité production.
- Expérience avec les frameworks d'orchestration de pipelines (par exemple, Airflow, Prefect, Dagster).
Atouts
- Expérience dans l'entraînement, le fine-tuning ou le déploiement de modèles ML pour des tâches de qualité de données (classificateurs, évaluateurs basés sur le LLM) et familiarité avec l'optimisation de l'inférence LLM (par exemple, vLLM, SGLang).
- Familiarité avec le déploiement conteneurisé (Docker, Kubernetes) et les pratiques d'infrastructure en tant que code.
- Familiarité avec les outils de suivi d'expériences ML (par exemple, Weights and Biases).
- Expérience des flux de licence de données ou d'acquisition de données à l'échelle du web.
- Contributions à des outils open-source de traitement de données ou de TALN.
À propos de LawZero
LawZero est une organisation à but non lucratif engagée dans l'avancement de la recherche et la création de solutions techniques qui permettent des systèmes d'IA conçus pour être sûrs par défaut. Sa direction scientifique repose sur de nouvelles recherches et méthodes proposées par le Professeur Yoshua Bengio, le chercheur en IA le plus cité au monde. Basé à Montréal, la recherche de LawZero vise à construire une IA non-agentive qui apprend principalement à comprendre le monde plutôt qu'à agir en son sein, en fournissant des réponses véridiques basées sur un raisonnement probabiliste transparent et externalisé. De tels systèmes d'IA pourraient être utilisés pour accélérer la découverte scientifique, pour assurer la supervision des systèmes d'IA agentifs, et pour approfondir la compréhension des risques liés à l'IA et de la manière de les éviter. LawZero estime que l'IA devrait être cultivée comme un bien public mondial, développé et utilisé en toute sécurité pour le bien-être humain. Pour plus d'informations, visitez lawzero.org lawzero.org/
Vous avez votre place ici
Chez LawZero, la diversité est importante pour nous. Nous valorisons un environnement de travail juste, ouvert et respectueux des différences. Nous accueillons les candidatures de personnes hautement qualifiées intéressées à travailler à la réalisation de notre mission dans un cadre respectueux, inclusif et collaboratif.
Vos informations personnelles seront collectées et traitées par LawZero pour évaluer votre candidature d'emploi conformément à notre Politique de confidentialité lawzero.org/en/website-privacy-notice. Conformément aux lois sur la protection de la vie privée en vigueur dans votre pays de résidence, vous pourriez avoir plusieurs droits en matière de confidentialité, tels que le droit de demander l'accès à vos informations personnelles ou de demander que vos informations personnelles soient rectifiées ou effacées. Les détails sur la manière dont vous pouvez exercer vos droits se trouvent dans notre Politique de confidentialité.
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil