Estados Unidos
PwrQ Holdings LLC
Databricks
Ingeniero Senior Staff de IA Aplicada - Recuperación de Contexto
Estados Unidos
Mountain View, California, United States · San Francisco, California, United States
SQL
Traducción automática. Consulta el original.
La Misión
P-1549 En Databricks, nos apasiona capacitar a los equipos de datos para resolver los problemas más complejos del mundo, desde hacer realidad el próximo medio de transporte hasta acelerar el desarrollo de avances médicos. Lo logramos construyendo y operando la mejor plataforma de infraestructura de datos e IA del mundo, para que nuestros clientes puedan utilizar información profunda de sus datos para mejorar sus negocios.
Los agentes de Databricks solo son tan buenos como el contexto que pueden recuperar. Ya sea que un agente esté respondiendo una pregunta sobre los ingresos del último trimestre, depurando un trabajo fallido, generando SQL contra un lakehouse de tablas 10,000, o resumiendo una página Wiki, su calidad está limitada por lo que puede encontrar, y por lo bien que entiende lo que encuentra.
Estamos contratando un Ingeniero Senior Staff de IA Aplicada para encargarse de la recuperación de contexto para los agentes de Databricks en proveedores de SaaS. Este es un rol de cero a uno con dos misiones profundamente conectadas:
Si tiene un profundo conocimiento de Recuperación de Información, ha implementado sistemas de recuperación para cargas de trabajo RAG y de agentes, y desea construir el sustrato —y los agentes sobre él— que hacen que cada agente de Databricks sea mediblemente más inteligente, este puesto es para usted.
Por Qué Este Puesto
- Impacto fundamental. La recuperación es la palanca más importante para la calidad de los agentes. La pila que construya se situará debajo de cada agente de Databricks y de cada agente creado por el cliente en nuestra plataforma.
- Campo de juego nuevo con escala. Obtiene la rara combinación de empezar desde cero y tener acceso inmediato a una escala empresarial masiva, datos reales de clientes y una organización de investigación de clase mundial.
- El equipo adecuado. Trabajará junto a ingenieros e investigadores detrás de Lakehouse, Apache Spark™, Delta Lake, MLflow, MosaicML y DBRX.
Qué Harás
- Construir la pila de recuperación —comprensión de consultas, comprensión de contenido, clasificación, recuperación y evaluación— en los datos empresariales de SaaS almacenados en múltiples sistemas.
- Construir los subagentes de búsqueda que se asientan sobre esa pila y razonan sobre qué contexto se necesita, cómo recuperarlo y si lo que se recuperó fue realmente lo correcto, cerrando el ciclo entre la intención de un agente y el sustrato que lo sirve.
- Construir la pila de recuperación completa desde cero. Ser responsable del sistema de extremo a extremo: comprensión de consultas, comprensión y indexación de contenido, recuperación híbrida, clasificación y evaluación. Tomar las decisiones arquitectónicas que definirán cómo los agentes de Databricks acceden al contexto durante años.
- Recuperar datos heterogéneos, estructurados y no estructurados. Indexar y clasificar activos estructurados (tablas, columnas, consultas de SQL, paneles, código, notebooks, trabajos) y contenido no estructurado (documentos, wikis, tickets, chat, imágenes, video, audio). Cada modalidad tiene sus propias señales; diseñar la recuperación que las explote en lugar de aplanarlas.
- Conectarse a la superficie de SaaS que los clientes realmente usan. Construir conectores y adaptadores de recuperación para los sistemas donde reside el conocimiento empresarial. Tratar cada fuente de recuperación con sus propias señales de frescura, permisos y clasificación.
- Optimizar para dos consumidores a la vez. La recuperación debe servir tanto a las LLMs (contexto fundamentado, eficiente en tokens, resistente a alucinaciones) como a los humanos (descubrimiento intuitivo y explicable). Estos son objetivos diferentes y requieren señales diferentes; ser responsable de ambos.
- Resolver la comprensión de consultas para agentes. Las consultas de agentes no se parecen a las consultas web. Construir reescritura de consultas, descomposición, clasificación de intenciones y resolución de entidades ajustadas para flujos de trabajo de agentes multivuelta.
- Resolver la comprensión de contenido a escala. Construir las canalizaciones que extraen estructura, entidades, incrustaciones, resúmenes y metadatos de cada tipo de activo admitido, y mantenerlos actualizados a medida que evolucionan los datos del cliente.
- Construir subagentes de búsqueda que razonen sobre la recuperación. Diseñar la capa de agentes que decide qué contexto se necesita, qué fuentes consultar, cómo descomponer y enrutar la búsqueda y, lo que es fundamental, si el contenido recuperado es realmente suficiente para responder la pregunta. Estos subagentes planificarán búsquedas de varios saltos, emitirán consultas de seguimiento cuando los resultados sean débiles, fundamentarán las afirmaciones contra la evidencia recuperada y devolverán contexto de alta confianza (o señalarán un fallo) a los agentes anteriores. Aquí es donde la IR se encuentra con el razonamiento de agentes.
- Construir el ciclo de evaluación para la recuperación y los subagentes. Implementar evaluaciones offline (nDCG, MRR, Recall@K, Precision@K), marcos de LLM-como-juez, etiquetado humano en el bucle y experimentación online. Extender la evaluación más allá de las métricas de clasificación para medir la calidad de la decisión del subagente: ¿hizo la pregunta de seguimiento correcta? ¿reconoció correctamente cuándo falló la recuperación? ¿fundamentó su respuesta en la evidencia correcta? La calidad que no se puede medir es calidad que no se puede lanzar.
- Establecer la dirección técnica y hacer crecer el equipo. Establecer la hoja de ruta multianual, mentorizar a ingenieros senior, asociarse con líderes de Investigación, Producto y Plataforma, y elevar el nivel técnico en toda la organización.
Qué Buscamos
- Más de 10 años de experiencia en ingeniería de software, con un tiempo considerable dedicado a construir sistemas de recuperación, búsqueda o RAG en producción a escala.
- Profundo conocimiento de Recuperación de Información (IR): recuperación léxica (BM25, Lucene/Elasticsearch/OpenSearch), recuperación densa (incrustaciones, índices ANN — FAISS, ScaNN, HNSW), recuperación híbrida y aprendizaje para clasificar.
- Experiencia práctica con la recuperación de la era moderna de LLM: arquitecturas RAG, reescritura de consultas, re-clasificación con cross-encoders, estrategias de contexto largo y técnicas de fundamentación que reducen las alucinaciones.
- Experiencia en el diseño de sistemas de agentes sobre la recuperación: planificadores de búsqueda, recuperación multivuelta/iterativa, comprobaciones de autorreflexión y suficiencia, agentes que utilizan herramientas y que deciden qué buscar y verifican lo que se recibió.
- Sólido conocimiento de la evaluación de relevancia: nDCG, MRR, Precision@K, Recall@K; experimentación offline/online; marcos de LLM-como-juez; construcción de canalizaciones de etiquetado humano.
- Experiencia trabajando con datos estructurados y no estructurados: ha indexado y clasificado tablas, código y documentos en el mismo sistema, y tiene opiniones sobre cómo hacerlo bien.
- Historial de construcción de sistemas 0→1: ha puesto en marcha un sistema de recuperación desde un repositorio vacío, ha tomado las decisiones arquitectónicas fundamentales y lo ha convertido en algo en lo que los clientes confían.
- Capacidad demostrada para operar como líder técnico: establecer dirección entre equipos, mentorizar a ingenieros senior e influir en la hoja de ruta con socios de investigación, producto y plataforma.
Agradable Tener
- Experiencia en la construcción de recuperación sobre fuentes empresariales de SaaS (permisos, frescura, multi-inquilino, indexación consciente de ACL).
- Experiencia en sistemas de agentes, uso de herramientas o recuperación multivuelta para agentes de LLM.
- Contribuciones a proyectos de código abierto de IR/búsqueda, o publicaciones en SIGIR, KDD, WWW, EMNLP o foros similares.
- Experiencia en entrenamiento o ajuste fino de modelos de incrustación, re-clasificadores o modelos de comprensión de consultas.
Ubicación
Este puesto se basa en nuestra oficina de Mountain View, CA o San Francisco, CA. Se espera colaboración híbrida en la oficina.
Transparencia del Rango Salarial
Databricks está comprometido con prácticas de compensación justas y equitativas. Los rangos salariales para este puesto se enumeran a continuación y representan el rango salarial esperado para puestos no comisionables o los ingresos objetivo para puestos comisionables. La compensación real se basa en varios factores únicos para cada candidato, que incluyen, entre otros, las habilidades relacionadas con el trabajo, la profundidad de la experiencia, las certificaciones y la capacitación relevantes, y la ubicación de trabajo específica. Según los factores anteriores, Databricks anticipa utilizar el ancho completo del rango. El paquete de compensación total para este puesto también puede incluir la elegibilidad para bonificaciones anuales por desempeño, acciones y los beneficios enumerados anteriormente. Para obtener más información sobre en qué rango se encuentra su ubicación, visite nuestra página aquí databricks.com/sites/default/files/2024-08/us-pay-zone-mapping.pdf.
Rango Salarial Local
$228,600—$342,800 USD
Nuestro Compromiso con la Diversidad e Inclusión
En Databricks, estamos comprometidos a fomentar una cultura diversa e inclusiva donde todos puedan sobresalir. Ponemos gran cuidado en asegurar que nuestras prácticas de contratación sean inclusivas y cumplan con los estándares de igualdad de oportunidades de empleo. Las personas que buscan empleo en Databricks son consideradas sin distinción de edad, color, discapacidad, etnia, estado familiar o civil, identidad o expresión de género, idioma, origen nacional, capacidad física y mental, afiliación política, raza, religión, orientación sexual, estatus socioeconómico, estatus de veterano y otras características protegidas.
Cumplimiento
Si el acceso a tecnología o código fuente controlado por la exportación es requerido para el desempeño de las funciones del puesto, queda a discreción del Empleador solicitar una licencia del gobierno de EE. UU. para dichos puestos, y el Empleador puede negarse a proceder con un solicitante basándose únicamente en esto.
Acerca de Databricks
Databricks es la empresa de Datos e IA. Más de 20,000 organizaciones en todo el mundo —incluyendo adidas, AT&T, Bayer, Block, Mastercard, Rivian, Unilever, y el 70% de las Fortune 500— confían en la Plataforma de Datos + IA de Databricks para crear y escalar aplicaciones, análisis y agentes de datos e IA. Con sede en San Francisco y más de 30 oficinas en todo el mundo, Databricks ofrece una plataforma unificada que incluye Genie, Lakebase, Agent Bricks, Lakeflow, Lakehouse y Unity Catalog. Para obtener más información, siga a Databricks en LinkedIn linkedin.com/company/databricks, X x.com/databricks, YouTube youtube.com/@Databricks e Instagram instagram.com/databricksinc/?hl=en.
Beneficios
En Databricks, nos esforzamos por ofrecer beneficios y ventajas integrales que satisfagan las necesidades de todos nuestros empleados. Para obtener detalles específicos sobre los beneficios ofrecidos en su región, haga clic aquí docs.google.com/document/d/154un3e8Xav4BceOSlcYFZRGEuQI54xMxVydRwQn54eQ/edit?usp=sharing.
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil