Estados Unidos
Redwood Materials
Elicit
Ingeniero de Comportamiento de Modelos, Razonamiento y Toma de Decisiones
RemotoEstados Unidos
Oakland, California, United States
Python
Traducción automática. Consulta el original.
Sobre Elicit
Elicit ayuda a los equipos de investigación y de negocio a investigar preguntas difíciles y a tomar decisiones de alto impacto basadas en evidencia.
Nuestra ambición es hacer que el razonamiento de alta calidad bajo incertidumbre esté disponible a una escala mucho mayor en contextos donde las apuestas son altas y la retroalimentación es escasa. Estamos construyendo sistemas de IA cuyo trabajo las personas puedan inspeccionar, cuestionar y mejorar, de modo que una IA cada vez más capaz también nos haga más sabios.
Por qué estamos contratando para este puesto
Algunas de las preguntas más valiosas que enfrentan las personas son también las más difíciles de responder bien. ¿Qué programa de investigación debería avanzar un equipo? ¿Qué evidencia cambiaría sus prioridades? ¿Qué incertidumbre vale la pena resolver antes de comprometerse con un ensayo de varios años y $100 millones de dólares?
Los modelos actuales pueden contribuir a estas decisiones, pero a menudo pasan por alto una consideración crucial, hacen una suposición que deberían haber verificado o revierten una recomendación con demasiada facilidad al presentarse nueva información. Además, dado que pueden realizar una cantidad creciente de trabajo de forma autónoma, su proceso y razonamiento a menudo son poco legibles, por lo que los responsables de la toma de decisiones desconfían en confiar en sus resultados. Ayudar con estos problemas requiere una comprensión profunda de los comportamientos de los modelos, lo que importa para diferentes tipos de decisiones, los entornos y culturas en los que se toman las decisiones, y cómo evaluar sistemas complejos multijugador con muchas interacciones humanas y de agentes.
Buscamos a alguien que se encargue de este trabajo: comprender dónde fallan nuestros sistemas, desarrollar formas de evaluarlos y construir mejoras que ayuden a los usuarios a tomar mejores decisiones. Comenzará con problemas concretos en I+D científica y estrategia comercial, y desarrollará enfoques que se apliquen a diferentes tipos de decisiones.
Sobre el puesto
Se unirá a nuestro equipo de ingeniería y reportará a un Gerente de Ingeniería. Trabajará en un equipo de ingeniería multifuncional, colaborando estrechamente con otros ingenieros, producto, diseño y expertos del dominio, asumiendo problemas desde la investigación y el diseño experimental hasta la implementación y el uso en el producto.
El trabajo combina un razonamiento cuidadoso, la capacidad de profundizar en los detalles del dominio y el diseño de software. Diseñará entornos de agentes y cómo los agentes representan problemas, recopilan evidencia, utilizan herramientas, retienen contexto, revisan sus conclusiones y se coordinan entre sí. También tomará las decisiones de ingeniería que nos permitan inspeccionar esos procesos, probar cambios y construir sobre lo que funciona.
La mayor parte del trabajo inicial implicará sistemas construidos alrededor de modelos de vanguardia existentes. El entrenamiento o el ajuste fino pueden ser útiles para problemas particulares, pero la dirección del trabajo seguirá lo que ayude a los usuarios a razonar mejor.
De qué serás responsable
- Comprender las decisiones que ayudamos a las personas a tomar. Trabajar en casos reales con usuarios y expertos del dominio. Identificar sus objetivos, restricciones, evidencia disponible y desconocidos importantes. Aprender lo suficiente sobre un problema desconocido para reconocer cuándo una respuesta no aborda el punto.
- Definir y medir un buen razonamiento. Construir evaluaciones para problemas donde el éxito está inicialmente poco especificado. Combinar la inspección detallada de ejemplos, el juicio de expertos y el análisis cuantitativo. Investigar si una puntuación mejor refleja una mejora significativa y si esa mejora se mantiene en nuevos casos.
- Mejorar el comportamiento del sistema. Convertir fallos observados en hipótesis que pueda probar. Experimentar con la descomposición de problemas, el contexto, las herramientas y las formas en que los agentes buscan información o verifican su trabajo. Seguir los resultados prometedores hasta obtener cambios de los que los usuarios puedan beneficiarse.
- Diseñar el software que hace que este trabajo sea confiable. Elegir abstracciones útiles, estructuras de datos y límites de componentes para flujos de trabajo de razonamiento y evaluaciones. Tomar decisiones deliberadas entre simplicidad, flexibilidad, confiabilidad, latencia y costo. Construir sistemas cuyos fallos usted y sus compañeros de equipo puedan diagnosticar.
- Ser responsable de la calidad de lo que entrega. Escribir código mantenible, participar en revisiones de diseño y código, y probar y monitorear sus cambios. Trabajar con otros ingenieros para integrar sus sistemas en el producto y mejorarlos a medida que aprende del uso real.
Proyectos de ejemplo
- Construir y evaluar un flujo de trabajo que ayude a un equipo de investigación a comparar posibles objetivos de proteínas que podrían nominar para el desarrollo de fármacos, que funcione a la luz de sus objetivos y marcos de decisión, que realice investigaciones legibles frente a teorías de éxito detalladas y puestas a prueba, y que se mantenga actualizado a la luz de nuevos hallazgos.
- Investigar por qué un agente reacciona de forma exagerada ante evidencia recién introducida al pronosticar los resultados de ensayos clínicos. Crear una evaluación que distinga los cambios justificados en el juicio de los inconsistentes, luego implementar y probar una mejora.
- Diseñar una representación de evidencia, suposiciones y preguntas sin resolver que un agente pueda actualizar a medida que evoluciona la decisión de adquirir un nuevo activo, al tiempo que se conserva la información necesaria para inspeccionar su trabajo.
- Mejorar la capacidad de un agente para notar la falta de contexto y hacer preguntas útiles antes de hacer una recomendación.
- Probar si un enfoque que mejora las decisiones de priorización de I+D se transfiere a la estrategia de desarrollo de negocio, y utilizar el resultado para decidir qué pertenece a un componente compartido.
¿Soy un buen candidato?
Podría disfrutar de este puesto si se encuentra queriendo trabajar en preguntas como estas:
- La recomendación de un modelo suena convincente para los no expertos, pero un experto piensa que está respaldada por información de baja calidad. ¿Cómo investigaría el desacuerdo y convertiría lo que aprende en una evaluación útil?
- Un agente ha adquirido nueva evidencia. ¿Cómo debería el agente identificar qué conclusiones necesitan ser revisadas y cómo probaría que lo hace correctamente? ¿Cómo escala esto a medida que la cantidad de evidencia crece a decenas de miles de documentos?
- Un flujo de trabajo tiene éxito en un puñado de ejemplos simples. ¿Qué necesitaría aprender antes de usarlo para clientes y qué partes de la implementación cambiaría primero?
No necesita una respuesta ensayada. Nos gustaría entender cómo aborda problemas como estos, qué construiría y cómo aprendería si funcionó.
Ubicación y viajes
Tenemos una gran oficina en Oakland, CA, y nos encantaría verle allí si es de la zona. Dicho esto, estamos igual de contentos de que trabaje de forma remota. Eso sí, reunimos a todo el equipo para un retiro trimestral en algún lugar divertido, porque el tiempo presencial es importante para nosotros.
Compensación
Para todos los puestos en Elicit, utilizamos un marco de compensación basado en datos para asegurarnos de que nuestros salarios sean competitivos en el mercado, equitativos y sencillos. Para este puesto, estamos apuntando a rangos iniciales de:
- Carrera (L3): $185-220K + acciones
- Senior (L4): $220-260K + acciones
- Experto/Staff (L5): $250-320K + acciones significativas
Estamos optimizando para contratar a alguien que pueda contribuir a nivel Senior (L4) o superior. Nos encantaría conocer también a contribuyentes de nivel Staff/Principal.
También ofrecemos acciones por encima del mercado para todos los puestos en Elicit, así como términos de acciones favorables para los empleados.
Lo que aportas al puesto
- Pensamiento riguroso sobre problemas ambiguos. Puede precisar una pregunta vaga, identificar suposiciones ocultas, sopesar evidencia contradictoria y explicar qué cambiaría su opinión. Puede progresar mientras se mantiene claro sobre lo que no sabe. Esto podría provenir de una variedad de orígenes, como investigación original en economía o desarrollo de enfoques de trading cuantitativo bajo condiciones adversas.
- Curiosidad en diversos dominios y comunicación clara. Disfruta familiarizándose con temas desconocidos, aprendiendo de especialistas y explicando su razonamiento a personas con diferentes experticias. Una buena señal es haber aprovechado la experiencia en dominios en múltiples dominios científicos o especialidades de negocio.
- Buenos instintos experimentales. Puede idear una prueba útil cuando no existe un punto de referencia establecido, distinguir la evidencia del ruido y reconocer cuándo su evaluación recompensa el comportamiento incorrecto. Está dispuesto a inspeccionar fallos individuales en detalle.
- La capacidad de implementar sus ideas. Puede escribir y depurar código de forma independiente, trabajar con datos y APIs, y llevar un experimento a una base de código mantenida. Se siente cómodo con Python o un lenguaje comparable y está dispuesto a trabajar en las partes relevantes de nuestra pila tecnológica.
- Familiaridad práctica con modelos de lenguaje. Ha explorado sus capacidades y limitaciones lo suficiente como para tener ideas informadas sobre cómo mejorarlos. Puede elegir un enfoque basado en el problema y actualizarlo a medida que cambian los modelos.
- Sólido juicio de ingeniería y arquitectura. Puede diseñar un sistema coherente, explicar sus elecciones y reconocer cuándo una abstracción ayuda o añade complejidad innecesaria. Ha construido software que otros pueden entender, usar y extender. La experiencia puede provenir de productos, sistemas de investigación u otros proyectos técnicos sustanciales; no se requiere una experiencia en ingeniería full-stack.
- Uso eficaz de asistentes de codificación. Utiliza herramientas de IA para aumentar lo que puede construir, asumiendo la responsabilidad de comprender el diseño y verificar el resultado.
Nos importa la evidencia de estas habilidades. Proyectos sustanciales, experimentos reflexivos y explicaciones claras de decisiones técnicas son formas útiles de mostrarnos cómo trabaja.
Beneficios y ventajas
Además de trabajar en problemas importantes como parte de un equipo productivo y positivo, también ofrecemos excelentes beneficios (con algunas variaciones según la ubicación):
- Entorno de trabajo flexible: trabaje desde nuestra oficina en Oakland o de forma remota siempre que pueda viajar para trabajar en persona para retiros y eventos de coworking.
- Seguro de salud, dental, de visión y de vida totalmente cubierto para usted, cobertura generosa para el resto de su familia (FSA/HSA también).
- Política de vacaciones flexible, con una recomendación mínima de 20 días al año y muchas vacaciones de empresa.
- Cada Elician recibe un estipendio mensual de bienestar de $200 para gastar en lo que apoye su salud y bienestar.
- 401K con una contrapartida del empleador del 6%.
- Un nuevo Mac + presupuesto de $1,000 para configurar su estación de trabajo u oficina en casa en su primer año, luego $500 cada año posterior.
- $1,000 de presupuesto trimestral para Experimentación y Aprendizaje de IA, para que pueda experimentar libremente con nuevas herramientas de IA para incorporar en su flujo de trabajo, tomar cursos, comprar recursos educativos o asistir a conferencias y eventos centrados en IA.
- Un asistente administrativo de equipo que puede ayudarle con tareas personales y de trabajo.
¡Puede encontrar más razones para trabajar con nosotros en este hilo!
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil