Kanada
Meridian OneCap Credit Corp.
LawZero
Senior ML Data Processing Developer
Kanada
Montreal, Quebec, Canada
PythonDockerKubernetes
Automatische Übersetzung. Prüfe das Original.
Über die Stelle
Wir suchen einen Senior ML Data Processing Developer
der an der Entwicklung, Kuratierung und Skalierung unserer Kern-Daten-Asset-Pipeline teilnimmt. An der Schnittstelle von Data Engineering, Datenkuratierung und machine learning sind Sie für die End-to-End-Pipeline verantwortlich, die Rohdaten im Web-Maßstab in hochgradig aussagekräftige Datensätze umwandelt, die zum Trainieren des Scientist AI verwendet werden.
In dieser Rolle verwalten Sie nicht nur Daten, sondern gestalten deren Qualität. Sie entwerfen algorithmische Filterung, bauen modellbasierte Scoring-Mechanismen und stellen eine rigorose Benchmark-Integrität sicher, um die nächste Generation von KI anzutreiben. Und während unsere Modelle über etablierte Paradigmen hinausgehen, werden Sie neuartige Datentransformationen entwerfen und implementieren, für die es noch keine Handbücher gibt, und an der Grenze dessen arbeiten, was Trainingsdaten sein können.
Wir stellen mehrere Personen für diese Rolle ein, und die Verantwortlichkeiten können je nach individueller Erfahrung, Fähigkeiten und Interessen auf das Team verteilt werden.
HAUPTVERANTWORTLICHKEITEN
- Zusammenarbeit mit dem Forschungsteam zur Definition, Erstellung, Automatisierung, Skalierung und Verwaltung von Datenpipelines, die Rohdaten im Web-Maßstab in Trainingsdatensätze für den Scientist AI umwandeln.
- Aufbau und Pflege von Datenverarbeitungspipelines, einschließlich Deduplizierung, modellbasierter Qualitätsbewertung, heuristischer Filterung, Toxizitätsentfernung, PII-Bereinigung, Metadatenextraktion und proprietärer Datentransformationen, mit vollständiger Nachverfolgung von Datensatzversionierung und Provenienz, optimiert für Durchsatz und Kosten im großen Maßstab.
- Sicherstellen, dass alle aufgenommenen Daten den Compliance-Anforderungen, internen Data Governance-Richtlinien und rechtlichen Verpflichtungen entsprechen.
- Entwicklung und Verfeinerung der Scoring- und Filter-Toolchain: Heuristiken, LLM-as-a-judge-Evaluatoren, ML-Klassifikatoren, Metadatenextraktionsmodule und Human-in-the-Loop-Review-Workflows, die für die Datenverarbeitung und Qualitätssicherung erforderlich sind.
- Instrumentierung von Datenverarbeitungspipelines mit Datenqualitätsüberwachung, Guardrails und Alarmen, um Regressionen zu erkennen, bevor sie sich nachgelagert ausbreiten.
- Zusammenarbeit mit dem Forschungsteam und anderen Teams, um sich entwickelnde Datenanforderungen zu verstehen, dann die Identifizierung und Beschaffung von Textkorpora im großen Maßstab, die diese Anforderungen erfüllen. Dies beinhaltet die Durchführung systematischer Abdeckungsanalysen zur Identifizierung von Lücken im Korpus und die Entwicklung gezielter Beschaffungsstrategien zu deren Behebung sowie die Zusammenarbeit mit dem Legal & Governance Team zur Lizenzierung neuer Datenquellen.
- Entwurf und Aufrechterhaltung strenger Mechanismen zur Erkennung von Leckagen, um eine Kontamination der Auswertung in allen Phasen der Datenverarbeitungspipeline zu verhindern.
- Erstellung interner Tools und Schnittstellen, die es Forschern ermöglichen, verfügbare Datensätze mit minimalem Aufwand zu erkunden, abzufragen und zu verstehen.
FÄHIGKEITEN UND QUALIFIKATIONEN
- Abschluss in Informatik, Software Engineering oder einem verwandten Fachgebiet.
- Nachgewiesene Erfolgsbilanz im Umgang mit riesigen unstrukturierten Textdatensätzen (im Billionen-Token-Bereich) mit 5+ Jahren Erfahrung in der Datenverarbeitung, im machine learning Engineering oder in der Verarbeitung natürlicher Sprache (NLP).
- Praktische Erfahrung mit verteilten Verarbeitungs-Frameworks (z. B. Spark, Ray, Flink), Entwurf und Optimierung von Hochdurchsatz-Pipelines.
- Erfahrung mit der Implementierung von Datenschutz (PII-Bereinigung), Inhaltsfilterung (Toxizität, Bias) und der Verhinderung von Auswertungskontamination.
- Nachgewiesene Fähigkeit zur Zusammenarbeit mit Forschungs-, Engineering- und/oder Rechts-/Governance-Teams, um unterschiedliche Anforderungen in konkrete Pipeline-Arbeit zu übersetzen.
- Starke Python-Kenntnisse, einschließlich Erfahrung im Schreiben von produktionsreifen Datenverarbeitungscodes.
- Erfahrung mit Pipeline-Orchestrierungs-Frameworks (z. B. Airflow, Prefect, Dagster).
Von Vorteil
- Erfahrung im Trainieren, Fine-Tuning oder Bereitstellen von ML-Modellen für Datenqualitätsaufgaben (Klassifikatoren, LLM-basierte Evaluatoren) und Vertrautheit mit LLM-Inferenzoptimierung (z. B. vLLM, SGLang).
- Vertrautheit mit containerisierter Bereitstellung (Docker, Kubernetes) und Infrastructure-as-Code-Praktiken.
- Vertrautheit mit ML-Experiment-Tracking-Tools (z. B. Weights and Biases).
- Erfahrung mit Datenlizenzierungs-Workflows oder der Beschaffung von Daten im Web-Maßstab.
- Beiträge zu Open-Source-Tools für Datenverarbeitung oder NLP.
Über LawZero
LawZero ist eine gemeinnützige Organisation, die sich der Förderung von Forschung und der Schaffung technischer Lösungen verschrieben hat, die sichere KI-Systeme von Grund auf ermöglichen. Ihre wissenschaftliche Ausrichtung basiert auf neuen Forschungen und Methoden, die von Professor Yoshua Bengio, dem meistzitierten KI-Forscher der Welt, vorgeschlagen wurden. Mit Sitz in Montreal zielt die Forschung von LawZero darauf ab, nicht-agentische KI aufzubauen, die hauptsächlich lernt, die Welt zu verstehen, anstatt in ihr zu handeln, und die wahrheitsgemäße Antworten auf Fragen basierend auf transparentem und externalisiertem probabilistischem Denken gibt. Solche KI-Systeme könnten genutzt werden, um wissenschaftliche Entdeckungen zu beschleunigen, Aufsicht für agentische KI-Systeme zu bieten und das Verständnis von KI-Risiken und deren Vermeidung zu fördern. LawZero glaubt, dass KI als globales öffentliches Gut kultiviert werden sollte – sicher entwickelt und genutzt zum Wohle der Menschheit. Weitere Informationen finden Sie unter lawzero.org lawzero.org/
Sie gehören hierher
Bei LawZero ist Vielfalt wichtig für uns. Wir schätzen ein Arbeitsumfeld, das fair, offen und respektvoll gegenüber Unterschieden ist. Wir freuen uns über Bewerbungen von hochqualifizierten Personen, die an unserer Mission in einem respektvollen, integrativen und kollaborativen Umfeld mitwirken möchten.
Ihre persönlichen Daten werden von LawZero gesammelt und verarbeitet, um Ihre Bewerbung für eine Anstellung gemäß unserer Datenschutzrichtlinie lawzero.org/en/website-privacy-notice zu bewerten. Gemäß den geltenden Datenschutzgesetzen in Ihrem Wohnsitzland haben Sie möglicherweise verschiedene Datenschutzrechte, wie z. B. das Recht auf Auskunft über Ihre persönlichen Daten oder das Recht, die Berichtigung oder Löschung Ihrer persönlichen Daten zu verlangen. Details darüber, wie Sie Ihre Rechte ausüben können, finden Sie in unserer Datenschutzrichtlinie.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen