México
Cummins
Prolific
Ingeniero/a de Calidad de Datos Humana (Equipo Fundador)
México
Mexico
PythonSQL
Traducción automática. Consulta el original.
El Puesto
Ingeniero/a de Calidad de Datos Humana (Equipo Fundador)
Prolific Prolific no solo está impulsando la innovación en IA, la estamos redefiniendo. Mientras las tecnologías fundamentales de IA se están volviendo productos básicos, la infraestructura de datos humanos de Prolific proporciona los datos diversos y de alta calidad necesarios para entrenar la próxima generación de modelos de IA. A través de nuestra plataforma, empoderamos a investigadores y empresas para acceder a una base de participantes global y curada éticamente, asegurando una investigación y entrenamiento de IA de vanguardia basados en la inclusión y la precisión.
Como uno de los miembros fundadores del recién formado equipo de Servicios de Datos de IA de Prolific, ayudarás a construir los sistemas de calidad detrás de algunos de los modelos de IA más avanzados del mundo. La calidad de los datos es una prioridad estratégica para Prolific, por lo que este es un puesto de alta visibilidad con exposición directa a partes interesadas de alto nivel. Este no es un puesto de QA tradicional. No buscamos a alguien que revise datos contra una lista de verificación predefinida. Buscamos un pensador innovador que pueda aprovechar su experiencia para definir qué significa "bueno" donde aún no existe una definición.
Actuando como un socio estratégico de pensamiento, trabajarás en la intersección de datos humanos, machine learning, y evaluación en casos de uso de vanguardia que definen cómo son los datos humanos de alta calidad para la próxima generación de IA avanzada. Esto significa que gran parte del trabajo implica problemas novedosos sin una respuesta establecida, por lo que te sentirás cómodo/a trabajando en la ambigüedad.
Por qué Prolific es un gran lugar para trabajar
Hemos creado una plataforma única que conecta a investigadores y empresas con una reserva global de participantes, permitiendo la recopilación de datos de comportamiento humano y comentarios de alta calidad y obtenidos éticamente. Estos datos son la piedra angular para desarrollar sistemas de IA más precisos, matizados y alineados.
Creemos que el próximo salto en las capacidades de IA no vendrá únicamente de escalar los modelos existentes, sino de integrar diversas perspectivas y comportamientos humanos en el desarrollo de IA. Al proporcionar esta infraestructura crucial de datos humanos, Prolific se está posicionando a la vanguardia de la próxima ola de innovación en IA, una que refleja la amplitud y lo mejor de la humanidad.
Trabajar con nosotros te situará a la vanguardia de la innovación en IA, brindando acceso a nuestra plataforma única de datos humanos y oportunidades para investigación pionera.
Lo que harás
Tu enfoque principal será trabajar directamente con clientes y junto a laboratorios de IA de vanguardia, traduciendo lo que sus modelos necesitan en estrategias sólidas de datos humanos y evaluación. En lugar de verificar la calidad al final de un proyecto, diseñarás la calidad en cada etapa del ciclo de vida, desde el diseño del estudio y la estrategia de los participantes hasta la evaluación, la preparación para el lanzamiento y la entrega al cliente. También trabajarás junto a nuestros equipos de producto, ingeniería y suministro para definir y construir la infraestructura de calidad que nos permitirá entregar datos humanos de alta calidad a escala.
Gran parte del trabajo que abordarás no tendrá un manual existente. Ayudarás a crearlo.
- Diseñar los marcos de calidad que sustentan programas complejos de datos humanos, desde rúbricas de evaluación hasta la preparación para el lanzamiento.
- Trabajar con clientes como socio estratégico de pensamiento, cuestionando esquemas de anotación y requisitos de datos cuando no produzcan la señal que el modelo necesita.
- Asesorar sobre el diseño del proyecto y cómo la elección del esquema puede afectar la calidad de los datos.
- Construir calidad "aguas arriba" en todo el flujo de trabajo operativo, desde el reclutamiento, la selección y la capacitación hasta la redacción de directrices y la ejecución de sesiones de calibración.
- Construir sistemas de calidad escalables, marcos de medición y verificaciones automatizadas utilizando Python y SQL.
- Asociarse con producto e ingeniería para construir la infraestructura de calidad que entregue datos humanos de alta calidad a escala.
- Investigar problemas de calidad e integridad de datos, identificando causas raíz y convirtiendo los conocimientos en mejoras escalables.
- Arquitectar y construir paneles, monitoreo e informes que proporcionen una visibilidad clara del rendimiento de calidad y operativo.
- Elevar la capacidad de calidad en toda la empresa, capacitando a las operaciones y actuando como mentor de pensamiento para analistas junior.
- Ayudar a definir cómo Prolific aborda la calidad en nuevos dominios de IA, dando forma a las mejores prácticas a medida que el equipo crece.
Lo que aportarás al puesto
- 5+ años de experiencia en la construcción de sistemas de calidad, evaluación o anotación dentro de entornos de IA, machine learning, LLMs o datos humanos.
- Sólidas habilidades en Python y SQL, con pasión por usar datos para resolver problemas complejos de calidad.
- Una sólida comprensión de los pipelines de machine learning y cómo los datos humanos impactan el rendimiento del modelo.
- Fuerte pensamiento analítico y estadístico, con experiencia en el diseño de marcos de calidad escalables.
- La confianza y credibilidad para interactuar con partes interesadas en laboratorios de vanguardia y actuar como socio.
- La capacidad de aprovechar tu experiencia y conocimientos para influir y guiar a las partes interesadas en todos los niveles, tanto del lado del cliente como internamente.
- La capacidad de convertir tu propio análisis de datos y metodología de calidad en requisitos que producto e ingeniería puedan integrar en los sistemas.
- La capacidad de explicar tu análisis de datos y hallazgos claramente a partes interesadas no técnicas, para que puedan actuar sobre ellos.
- Una mentalidad proactiva y constructora: disfrutas creando nuevos sistemas, navegando la ambigüedad y mejorando el funcionamiento de las cosas.
Mejor aún si tienes
- Experiencia con evaluación de LLM, RLHF, seguridad de IA o "red teaming".
- Experiencia en la traducción de objetivos vagos de modelos o evaluación en especificaciones de anotación claras.
- Experiencia trabajando con programas de anotación humana u operaciones de datos humanos.
- Familiaridad con calibración, acuerdo interevaluador, detección de deriva u otras metodologías de evaluación.
Únete a nosotros para disfrutar de un salario competitivo, beneficios y trabajo remoto dentro de nuestra cultura impactante y orientada a la misión. En Prolific, nuestros paquetes de compensación para roles elegibles incluyen salario base, acciones y beneficios. Muchos roles también incluyen la oportunidad de obtener un elemento variable en efectivo, como un bono o comisión. Cada oferta de trabajo muestra un rango salarial que refleja el mínimo y máximo objetivo para nuevos empleados, basado en la ubicación del rol, así como tus habilidades, experiencia y educación o formación relevante. Tu reclutador también estará encantado de compartir el rango salarial específico para tu ubicación preferida durante el proceso de contratación.
Enlaces a Más Información
- Sitio web
- Youtube
- Beneficios
- Manual Externo
- Declaración de Privacidad
Al enviar tu solicitud, aceptas que Prolific puede recopilar tus datos personales para fines de selección de personal y planificación organizativa global. El Aviso de Privacidad para Candidatos de Prolific explica qué información personal puede procesar Prolific, dónde puede procesar Prolific tu información personal, sus fines para procesar tu información personal y los derechos que puedes ejercer sobre el uso que Prolific hace de tu información personal.
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil
