Mexiko
DYOPATH
Prolific
Human Data Quality Engineer (Gründungsteam)
Mexiko
Mexico
PythonSQL
Automatische Übersetzung. Prüfe das Original.
Die Rolle
Human Data Quality Engineer (Gründungsteam)
Prolific Prolific ermöglicht nicht nur KI-Innovationen – wir definieren sie neu. Während grundlegende KI-Technologien immer mehr zum Standard werden, bietet die menschliche Dateninfrastruktur von Prolific die hochwertigen, vielfältigen Daten, die für das Training der nächsten Generation von KI-Modellen erforderlich sind. Über unsere Plattform ermöglichen wir Forschern und Unternehmen den Zugang zu einer globalen, ethisch kuratierten Teilnehmerbasis und gewährleisten so Spitzenforschung und -training im Bereich KI, die auf Inklusivität und Präzision basieren.
Als eines der Gründungsmitglieder des neu gebildeten KI-Datenservice-Teams von Prolific helfen Sie beim Aufbau der Qualitätssysteme hinter einigen der fortschrittlichsten KI-Modelle der Welt. Datenqualität ist eine strategische Priorität für Prolific, daher ist dies eine Rolle mit hoher Sichtbarkeit und direktem Kontakt zu leitenden Stakeholdern. Dies ist keine traditionelle QA-Rolle. Wir suchen niemanden, der Daten anhand einer vordefinierten Checkliste überprüft. Wir suchen einen innovativen Denker, der seine Expertise nutzen kann, um zu definieren, was gut ist, wo noch keine Definition existiert.
Als strategischer Partner arbeiten Sie an der Schnittstelle von menschlichen Daten, machine learning und Evaluierung über zukunftsweisende Anwendungsfälle hinweg, die definieren, wie hochwertige menschliche Daten für die nächste Generation fortschrittlicher KI aussehen. Das bedeutet, dass ein Großteil der Arbeit neuartige Probleme ohne etablierte Antworten beinhaltet, sodass Sie sich im Umgang mit Ambiguität wohlfühlen werden.
Warum Prolific ein großartiger Arbeitsplatz ist
Wir haben eine einzigartige Plattform entwickelt, die Forscher und Unternehmen mit einem globalen Pool von Teilnehmern verbindet und die Sammlung hochwertiger, ethisch einwandfreier menschlicher Verhaltensdaten und Feedbacks ermöglicht. Diese Daten sind der Eckpfeiler für die Entwicklung genauerer, nuancierterer und besser abgestimmter KI-Systeme.
Wir glauben, dass der nächste Sprung in den KI-Fähigkeiten nicht allein aus der Skalierung bestehender Modelle resultieren wird, sondern aus der Integration vielfältiger menschlicher Perspektiven und Verhaltensweisen in die KI-Entwicklung. Durch die Bereitstellung dieser entscheidenden menschlichen Dateninfrastruktur positioniert sich Prolific an der Spitze der nächsten Welle der KI-Innovation – einer, die die Breite und das Beste der Menschheit widerspiegelt.
Wenn Sie bei uns arbeiten, stehen Sie an der Spitze der KI-Innovation und erhalten Zugang zu unserer einzigartigen menschlichen Datenplattform und Möglichkeiten für bahnbrechende Forschung.
Was Sie tun werden
Ihr Hauptaugenmerk liegt auf der direkten Zusammenarbeit mit Kunden und führenden KI-Laboren, um deren Modellbedürfnisse in robuste menschliche Daten- und Evaluierungsstrategien zu übersetzen. Anstatt die Qualität am Ende eines Projekts zu überprüfen, entwickeln Sie die Qualität in jeder Phase des Lebenszyklus, vom Studiendesign und der Teilnehmerstrategie bis hin zur Evaluierung, der Startbereitschaft und der Kundenlieferung. Sie werden auch mit unseren Produktentwicklungs- und Lieferteams zusammenarbeiten, um die Qualitätssinfrastruktur zu definieren und aufzubauen, die es uns ermöglicht, qualitativ hochwertige menschliche Daten in großem Maßstab zu liefern.
Ein Großteil der Arbeit, die Sie angehen werden, hat kein bestehendes Handbuch. Sie werden helfen, es zu erstellen.
- Entwerfen Sie die Qualitäts-Frameworks, die komplexen menschlichen Datenprogrammen zugrunde liegen, von Bewertungsrastern bis zur Startbereitschaft.
- Arbeiten Sie als strategischer Partner mit Kunden zusammen und hinterfragen Sie Annotationsschemata und Datenanforderungen, wenn diese nicht das Signal liefern, das das Modell benötigt.
- Beraten Sie beim Projektdesign und wie die Wahl des Schemas die Datenqualität beeinflussen kann.
- Bauen Sie Qualität stromaufwärts im operativen Workflow auf, von der Rekrutierung, dem Screening und der Schulung bis hin zum Verfassen von Richtlinien und der Durchführung von Kalibrierungssitzungen.
- Erstellen Sie skalierbare Qualitätssysteme, Mess-Frameworks und automatisierte Prüfungen mit Python und SQL.
- Arbeiten Sie mit Produkt und Engineering zusammen, um die Qualitätssinfrastruktur zu erstellen, die qualitativ hochwertige menschliche Daten in großem Maßstab liefert.
- Untersuchen Sie Datenqualitäts- und Integritätsprobleme, identifizieren Sie Ursachen und wandeln Sie Erkenntnisse in skalierbare Verbesserungen um.
- Entwerfen und erstellen Sie Dashboards, Überwachungs- und Berichterstattungssysteme, die klare Einblicke in die Qualität und operative Leistung bieten.
- Heben Sie die Qualitätskompetenz im gesamten Unternehmen an, schulen Sie die Mitarbeiter im operativen Bereich und fungieren Sie als Mentor für Junior-Analysten.
- Helfen Sie dabei, den Ansatz von Prolific zur Qualität in neuen KI-Domänen zu definieren und Best Practices zu gestalten, während das Team wächst.
Was Sie in die Rolle einbringen
- 5+ Jahre Erfahrung im Aufbau von Qualitäts-, Evaluierungs- oder Annotationssystemen in den Bereichen KI, machine learning, LLMs oder menschliche Daten.
- Starke Python- und SQL-Kenntnisse mit einer Leidenschaft für den Einsatz von Daten zur Lösung komplexer Qualitätsprobleme.
- Ein solides Verständnis von machine learning-Pipelines und wie menschliche Daten die Modellleistung beeinflussen.
- Starkes analytisches und statistisches Denkvermögen mit Erfahrung im Entwurf skalierbarer Qualitäts-Frameworks.
- Das Selbstvertrauen und die Glaubwürdigkeit, um mit Stakeholdern in führenden Laboren zu interagieren und als Partner zu agieren.
- Die Fähigkeit, Ihre Erfahrung und Ihr Fachwissen zu nutzen, um Stakeholder auf allen Ebenen, sowohl auf Kundenseite als auch intern, zu beeinflussen und zu leiten.
- Die Fähigkeit, Ihre eigene Datenanalyse und Qualitätsmethodik in Anforderungen umzuwandeln, die Produkt und Engineering in Systeme integrieren können.
- Die Fähigkeit, Ihre Datenanalysen und Ergebnisse klar an nicht-technische Stakeholder zu kommunizieren, damit diese darauf reagieren können.
- Eine proaktive, aufbauende Denkweise – Sie genießen es, neue Systeme zu schaffen, mit Ambiguität umzugehen und die Funktionsweise von Dingen zu verbessern.
Noch besser, wenn Sie Folgendes haben
- Erfahrung mit LLM-Evaluierung, RLHF, KI-Sicherheit oder Red Teaming.
- Erfahrung in der Übersetzung vager Modell- oder Evaluierungsziele in klare Annotationsspezifikationen.
- Erfahrung in der Zusammenarbeit mit menschlichen Annotationsprogrammen oder menschlichen Datenoperationen.
- Vertrautheit mit Kalibrierung, Inter-Rater-Übereinstimmung, Drift-Erkennung oder anderen Evaluierungsmethoden.
Treten Sie uns bei und genießen Sie ein wettbewerbsfähiges Gehalt, Sozialleistungen und die Möglichkeit, remote zu arbeiten, in unserer wirkungsvollen, missionsgetriebenen Kultur. Bei Prolific beinhalten unsere Vergütungspakete für berechtigte Rollen Grundgehalt, Aktienoptionen und Sozialleistungen. Viele Rollen beinhalten auch die Möglichkeit, einen variablen Bargeldanteil zu verdienen, wie z. B. einen Bonus oder eine Provision. Jede Stellenausschreibung zeigt eine Gehaltsspanne an, die das Minimum und Maximum für neue Mitarbeiter widerspiegelt, basierend auf dem Standort der Rolle sowie Ihren Fähigkeiten, Ihrer Erfahrung und Ihrer relevanten Ausbildung oder Weiterbildung. Ihr Recruiter teilt Ihnen während des Einstellungsprozesses auch gerne die spezifische Gehaltsspanne für Ihren bevorzugten Standort mit.
Links zu weiteren Informationen
- Website
- Youtube
- Leistungen
- Externes Handbuch
- Datenschutzerklärung
Mit Einreichung Ihrer Bewerbung erklären Sie sich damit einverstanden, dass Prolific Ihre persönlichen Daten für Rekrutierungs- und globale Organisationsplanungszwecke erfassen darf. Die Datenschutzerklärung für Bewerber von Prolific erläutert, welche persönlichen Informationen Prolific verarbeiten darf, wo Prolific Ihre persönlichen Informationen verarbeiten darf, die Zwecke für die Verarbeitung Ihrer persönlichen Informationen und die Rechte, die Sie bezüglich der Verwendung Ihrer persönlichen Informationen durch Prolific ausüben können.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen