Cresta

12 nov 2026

Ingeniero de Evaluación de Agentes de IA

Estados Unidos

Alberta, Canada · British Columbia, Canadá · Ontario, Canadá · United States

Python

Traducción automática. Consulta el original.

Sobre la oportunidad

Cresta libera el verdadero potencial de la experiencia del cliente, convirtiendo cada conversación en una ventaja competitiva. La plataforma de IA unificada de Cresta combina agentes de IA conversacional, aumento de agentes humanos en tiempo real y una inteligencia de conversación integral para impulsar los ingresos y mejorar la eficiencia en todos los canales. Las empresas líderes del mundo, incluidas United Airlines, Cox Communications y Marriott, utilizan Cresta para potenciar experiencias de cliente de clase mundial todos los días.

Nacida en el Laboratorio de IA de Stanford, Cresta ha recaudado más de 270 millones de dólares de los inversores más importantes del mundo, incluidos a16z, Greylock y Sequoia. El liderazgo de Cresta incluye algunas de las mentes más destacadas en IA hoy en día. Nuestro CEO, Ping Wu, fundó y dirigió las plataformas Contact Center AI y Vertex AI de Google antes de unirse a Cresta para construir el futuro de las experiencias de cliente impulsadas por IA.

En los próximos años, la IA redefinirá cómo las personas de todo el mundo interactúan con las empresas a diario. Ven a construir ese futuro en Cresta.

Sobre el puesto

El Recepcionista de IA de Cresta responde al teléfono para pequeñas empresas que, de otro modo, perderían la llamada. Actualmente gestiona millones de conversaciones al mes, asegurándose de que ninguna llamada quede sin respuesta y ayudando a los propietarios a completar las tareas de oficina que mantienen su negocio en funcionamiento, y lo hace para cientos de clientes. Determinar si esas conversaciones son realmente buenas es la pregunta más importante del negocio, y merece un responsable a tiempo completo. Ese eres tú.

Como nuestro primer Ingeniero de Evaluación de Agentes de IA, definirás qué significa la calidad para cada agente que ejecutamos, construirás los sistemas que la miden en cada conversación y serás la persona en la que la empresa confía cuando la pregunta es: "¿qué tan bueno es, realmente?"

El trabajo combina el análisis práctico de conversaciones, el diseño riguroso de evaluaciones y la ejecución de ingeniería: leer y anotar conversaciones reales para aprender cómo falla realmente el agente, construir los sistemas de evaluación automatizados (jueces basados en LLM, conjuntos de referencia, suites de regresión) que miden esos fallos a escala, y mantener la integridad de esos sistemas calibrándolos frente al juicio humano. Corregir lo que encuentres es bienvenido, pero no es el núcleo del trabajo; lo es obtener una imagen precisa y priorizada de la calidad del agente.

Lo que harás

Diseño de evaluación y definición de calidad

Definir y mantener la rúbrica de evaluación para el agente en tres ejes: cumplimiento (si siguió su diseño, llamó a las herramientas correctas, respetó las directrices), resultado (si la conversación logró su objetivo) y experiencia de conversación (latencia, turnos de palabra, tono, repetición).

Redactar las directrices de anotación y la taxonomía de fallos que el equipo utiliza para hablar de los errores con precisión; realizar sesiones de calibración y medir el acuerdo entre evaluadores.

Clasificar y priorizar los modos de fallo por gravedad y frecuencia para que ingeniería y producto trabajen en lo que más importa.

Análisis y anotación de conversaciones

Revisar manualmente las conversaciones de producción cada semana, aprovechar a los socios de QA; codificar fallos, agruparlos y convertir los grupos en evaluaciones que valga la pena automatizar.

Rastrear cada fallo hasta su causa probable (prompt, brecha de conocimiento, error de herramienta o flujo, reconocimiento de voz) y dirigirlo al responsable adecuado con suficiente evidencia para actuar.

Evaluar en diferentes idiomas e informar sobre la calidad por segmento (idioma, acento, calidad de audio, intención), no solo de forma agregada.

Sistemas de evaluación escalables

Construir y operar el pipeline de evaluación que califica cada conversación de producción, combinando comprobaciones automatizadas, jueces basados en LLM y revisión humana.

Calibrar cada juez automatizado frente a etiquetas humanas antes de confiar en él; tratar el error del juez como el principal riesgo de medición.

Diseñar estrategias de muestreo (estratificadas por intención, idioma, tipo de llamante, condiciones de audio) para que los cambios reportados en la calidad sean reales.

Construir y mantener el conjunto de referencia y la suite de regresión contra los cuales se valida cada cambio de prompt, modelo, conocimiento y flujo antes de su lanzamiento.

Cobertura y casos extremos

Mantener el mapa de cobertura de modos de fallo: qué comportamientos se prueban, se prueban parcialmente o no se miden; cerrar las brechas.

Diseñar evaluaciones para comportamientos que ningún arnés estándar cubre: tipos de conversación de alto riesgo como transferencias a un humano, manejo de uso indebido y llamadas no deseadas, y resiliencia ante fallos ascendentes.

Definir los umbrales de calidad y latencia a los que se sujeta el agente.

Informes y colaboración interfuncional

Informar sobre las tendencias de calidad a las partes interesadas internas y a los clientes de forma clara, indicando la incertidumbre y sin ocultar las malas noticias.

Colaborar con ingenieros desplegados en campo, ingenieros de backend, gerentes de producto y el equipo de ingeniería de voz/lenguaje para convertir los hallazgos en recomendaciones priorizadas.

Documentar la metodología para que los resultados sean reproducibles y la práctica de evaluación perdure más allá de cualquier persona.

Lo que buscamos

3+ años de experiencia profesional en ingeniería de software, ML aplicado o roles de investigación intensiva en datos, incluyendo al menos 1–2 años trabajando de forma práctica con sistemas basados en LLM en producción.

Grado en Ingeniería Informática, Lingüística Computacional, Ciencias Cognitivas, Estadística o un campo relacionado, o experiencia práctica equivalente.

Haber construido y operado un sistema de evaluación de extremo a extremo para un producto de LLM en producción (agente u otro): rúbrica, etiquetas humanas, juez automatizado, suite de regresión.

Comprensión profunda de la metodología de evaluación: para qué sirven los conjuntos de referencia, los jueces, las suites de regresión y la calibración, y cuándo falla cada uno. Independiente de la herramienta; trabajarás con nuestras herramientas internas.

Fluidez en cómo funcionan los agentes de LLM: prompts, llamadas a herramientas, manejo de contexto, estado de múltiples turnos. Puedes leer un rastro y decir qué estaba haciendo el agente y por qué.

Sólidas habilidades de programación en Python y experiencia con APIs de LLM; capaz de construir y enviar herramientas de evaluación de forma independiente. No se requiere ajuste fino (fine-tuning) ni frameworks de ML.

Capaz de escribir una rúbrica que evaluadores independientes puntuarían de la misma manera, y de medir si lo hacen.

Capaz de diseñar una prueba a partir de una pregunta de calidad abierta: tú decides qué medir y cómo, en lugar de ejecutar un plan predefinido.

Dispuesto a realizar trabajo no escalable semanalmente, tanto tú mismo como dirigiendo a nuestros socios de QA: escuchar llamadas, etiquetar conversaciones, construir una taxonomía de fallos desde cero.

Fluidez profesional en al menos un idioma además del inglés, suficiente para evaluar el comportamiento del agente multilingüe directamente.

Sólida comunicación escrita; tú redactas las directrices que otros siguen.

Nota sobre nuestro proceso de contratación

Valoramos mucho tu tiempo y tu destreza en ingeniería. Para garantizar un proceso ágil y objetivo, el primer paso para los candidatos cualificados tras una revisión inicial del CV es una evaluación técnica de CoderPad a tu propio ritmo. Esto te permite mostrar tus habilidades prácticas de codificación y resolución de problemas en un entorno del mundo real antes de pasar a las rondas de entrevistas conversacionales.

Compensación en Cresta

El enfoque de Cresta respecto a la compensación es simple: reconocer el impacto, recompensar la excelencia e invertir en nuestra gente. Ofrecemos una remuneración competitiva basada en la ubicación que refleja el mercado y lo que cada individuo aporta.

El rango salarial base publicado representa lo que esperamos pagar por este puesto en una ubicación determinada. Las ofertas finales se definen por factores como la experiencia, las habilidades, la educación y la geografía. Además del salario base, la compensación total incluye capital (equity) y un paquete de beneficios integral para ti y tu familia.

Nuestro uso de IA en la contratación: Podemos utilizar herramientas de IA en nuestro proceso de contratación, las cuales requieren revisión y supervisión humana. Si tienes preguntas sobre nuestro uso de la IA o deseas optar por no participar, contacta a recruiting@cresta.ai (si decides no participar, utiliza el asunto ‘Opt-Out’ en tu correo electrónico).

Grabación y transcripción por IA: No autorizamos a los candidatos a grabar o utilizar transcripciones por IA de ninguna entrevista por teléfono, aplicación de notas, gafas con IA u otro dispositivo. Los candidatos pueden solicitar una excepción o ajuste para su revisión durante el proceso de entrevista según sea necesario.

Estafas de suplantación de identidad en la contratación: Hemos notado un aumento en las suplantaciones de identidad en la contratación en toda la industria, donde los estafadores intentan acceder a la información personal y financiera de los candidatos a través de entrevistas y ofertas falsas. Todas las comunicaciones por correo electrónico de contratación de Cresta provendrán siempre del dominio @cresta.ai. Cualquier contacto que afirme ser de Cresta a través de otras fuentes debe ser ignorado.

Ventajas y beneficios

Ofrecemos un paquete de beneficios integral y centrado en las personas para apoyarte en el trabajo y en la vida:

Cobertura médica, dental y de visión integral con planes que se adaptan a ti y a tu familia

Tiempo libre remunerado (PTO) flexible para que te tomes el tiempo que necesites, cuando lo necesites

Permiso parental remunerado para todos los nuevos padres que dan la bienvenida a un nuevo hijo

Plan de ahorro para la jubilación para ayudarte a planificar el futuro

Presupuesto para la configuración del trabajo remoto para ayudarte a crear una oficina en casa productiva

Estipendio mensual de bienestar y comunicación para mantenerte conectado y equilibrado

Programa de comidas en la oficina y beneficios de transporte proporcionados para los empleados presenciales

Idiomas