ML Evaluation Specialist, Human Data

Bei Apple entwickeln wir nicht nur Produkte – wir entwickeln Erlebnisse, die von erstklassigen Daten angetrieben werden.

Das Team Human-centered AI innerhalb von Apple Services Engineering sucht einen ML Evaluation Specialist, Human Data für unsere Abteilung Data Quality and Operations, um komplexe, Multi-Stakeholder-Operationen zu leiten, die sich auf Datenerfassung, -kuratierung, -annotation und menschliche Evaluierungsbemühungen für Apple Music, App Store, TV+, Podcasts und Books spezialisieren.

Der ideale Kandidat bringt eine seltene Kombination aus technischer Tiefe und Programmausführungsfähigkeiten mit.

Sie legen großen Wert auf Datenqualität und menschliche Ausrichtung, verfolgen einen kreativen und systematischen Ansatz zur Problemlösung und finden Motivation in weitreichenden Arbeiten, deren Auswirkungen sich in alltäglichen Apple-Erlebnissen zeigen.

Der ideale Kandidat bringt eine seltene Kombination aus technischer Tiefe und Programmausführungsfähigkeiten mit.

Sie legen großen Wert auf Datenqualität und menschliche Ausrichtung, verfolgen einen kreativen und systematischen Ansatz zur Problemlösung und finden Motivation in weitreichenden Arbeiten, deren Auswirkungen sich in alltäglichen Apple-Erlebnissen zeigen.

In dieser Rolle verantworten Sie die operative Strategie und die kontinuierliche Verbesserung von groß angelegten, mehrsprachigen Human-Data-Programmen, von der Gestaltung von Onboarding-Strukturen, die schrittweise die Kalibrierung von Annotatoren aufbauen, über die Analyse von Annotatoren-Verhaltensmustern zur Identifizierung, wo Automatisierung Low-Judgment-Entscheidungen abnehmen kann, bis hin zur Durchsetzung von Qualitäts-Frameworks, die den Kreislauf zwischen Annotatoren-Schwierigkeiten und Aufgabenneugestaltung schließen.

Sie identifizieren, wo menschliches Urteilsvermögen unerlässlich ist und wo es besser eingesetzt werden könnte, und bauen dann die Strukturen, die Automatisierung und die Feedback-Systeme auf, die es den Annotatoren ermöglichen, ihre kognitive Energie auf das Wesentliche zu konzentrieren.

Da diese Arbeit über Engineering, Data Science, Forschung, Beschaffung und Recht hinweggeht, ist ein wichtiger Teil der Rolle die Funktion als Bindeglied zwischen Teams, die jeweils einen Teil dieses Bereichs verantworten, die Abstimmung auf gemeinsame Standards, die Aufdeckung von Lücken und die Sicherstellung, dass Erkenntnisse aus der Annotationsschicht vorgelagerte Entscheidungen über Aufgabendesign und Tooling informieren.

Sie bringen eine Perspektive auf Best Practices für Human Data ein und übersetzen diese in skalierbare, menschenzentrierte Ansätze, die generative KI-Funktionen sicherer und zuverlässiger machen.

Sie sind in der Lage, morgens komplexe Datenpipelines zu entwerfen und bereitzustellen und nachmittags nahtlos umfassende Strategien zur Qualitätsverbesserung an Stakeholder zu präsentieren.

In dieser Rolle verantworten Sie die operative Strategie und die kontinuierliche Verbesserung von groß angelegten, mehrsprachigen Human-Data-Programmen, von der Gestaltung von Onboarding-Strukturen, die schrittweise die Kalibrierung von Annotatoren aufbauen, über die Analyse von Annotatoren-Verhaltensmustern zur Identifizierung, wo Automatisierung Low-Judgment-Entscheidungen abnehmen kann, bis hin zur Durchsetzung von Qualitäts-Frameworks, die den Kreislauf zwischen Annotatoren-Schwierigkeiten und Aufgabenneugestaltung schließen.

Sie identifizieren, wo menschliches Urteilsvermögen unerlässlich ist und wo es besser eingesetzt werden könnte, und bauen dann die Strukturen, die Automatisierung und die Feedback-Systeme auf, die es den Annotatoren ermöglichen, ihre kognitive Energie auf das Wesentliche zu konzentrieren.

Da diese Arbeit über Engineering, Data Science, Forschung, Beschaffung und Recht hinweggeht, ist ein wichtiger Teil der Rolle die Funktion als Bindeglied zwischen Teams, die jeweils einen Teil dieses Bereichs verantworten, die Abstimmung auf gemeinsame Standards, die Aufdeckung von Lücken und die Sicherstellung, dass Erkenntnisse aus der Annotationsschicht vorgelagerte Entscheidungen über Aufgabendesign und Tooling informieren.

Sie bringen eine Perspektive auf Human-Data-Best Practices ein und übersetzen diese in skalierbare, menschenzentrierte Ansätze, die generative KI-Funktionen sicherer und zuverlässiger machen.

Sie sind in der Lage, morgens komplexe Datenpipelines zu entwerfen und bereitzustellen und nachmittags nahtlos umfassende Strategien zur Qualitätsverbesserung an Stakeholder zu präsentieren.