États-Unis
PwrQ Holdings LLC
Databricks
Ingénieur IA Appliquée Senior Staff - Récupération de Contexte
États-Unis
Mountain View, California, United States · San Francisco, California, United States
SQL
Traduction automatique. Consultez l’original.
La Mission
P-1549 Chez Databricks, nous avons à cœur de permettre aux équipes data de résoudre les problèmes les plus complexes au monde, qu'il s'agisse de concrétiser le prochain mode de transport ou d'accélérer le développement d'avancées médicales. Pour ce faire, nous concevons et exploitons la meilleure plateforme d'infrastructure de données et d'IA au monde, afin que nos clients puissent tirer parti d'informations approfondies issues de leurs données pour améliorer leur activité.
Les agents Databricks ne sont bons que dans la mesure du contexte qu'ils peuvent récupérer. Qu'un agent réponde à une question sur les revenus du dernier trimestre, débogue un travail défaillant, génère des SQL sur un lakehouse à table 10,000, ou résume une page Wiki, sa qualité est limitée par ce qu'il peut trouver — et par la façon dont il comprend ce qu'il trouve.
Nous recrutons un Ingénieur IA Appliquée Senior Staff pour prendre en charge la récupération de contexte pour les agents Databricks sur les fournisseurs SaaS. Il s'agit d'un rôle de zéro à un avec deux missions étroitement liées :
Si vous possédez une expertise approfondie en récupération d'informations, avez déployé des systèmes de récupération pour des charges de travail RAG et agentiques, et souhaitez construire le substrat — et les agents qui s'y superposent — qui rendent chaque agent Databricks mesurable plus intelligent, ce rôle est fait pour vous.
Pourquoi ce rôle
- Impact fondamental. La récupération est le levier le plus important sur la qualité des agents. La pile que vous construirez se situera sous chaque agent Databricks et chaque agent créé par le client sur notre plateforme.
- Terrain vierge à grande échelle. Vous bénéficiez de la combinaison rare de commencer sur une feuille blanche et d'avoir un accès immédiat à une échelle d'entreprise massive, à des données clients réelles et à une organisation de recherche de classe mondiale.
- La bonne équipe. Vous travaillerez aux côtés des ingénieurs et des chercheurs derrière Lakehouse, Apache Spark™, Delta Lake, MLflow, MosaicML et DBRX.
Ce que vous ferez
- Construire la pile de récupération — compréhension des requêtes, compréhension du contenu, classement, récupération et évaluation — sur les données d'entreprise SaaS stockées dans plusieurs systèmes.
- Construire les sous-agents de recherche qui se situent au-dessus de cette pile et raisonnent sur le contexte nécessaire, comment le récupérer et si la bonne chose est effectivement revenue — bouclant ainsi la boucle entre l'intention d'un agent et le substrat qui le sert.
- Construire la pile de récupération complète à partir de zéro. Gérer le système de bout en bout : compréhension des requêtes, indexation et compréhension du contenu, récupération hybride, classement et évaluation. Prendre les décisions architecturales qui définiront la manière dont les agents Databricks accéderont au contexte pour les années à venir.
- Récupérer des données hétérogènes — structurées et non structurées. Indexer et classer des actifs structurés (tables, colonnes, requêtes SQL, tableaux de bord, code, notebooks, jobs) et du contenu non structuré (documents, wikis, tickets, chat, images, vidéo, audio). Chaque modalité a ses propres signaux — concevoir une récupération qui les exploite plutôt que de les aplatir.
- Se connecter à la surface d'exposition SaaS que les clients utilisent réellement. Construire des connecteurs et des adaptateurs de récupération pour les systèmes où réside la connaissance de l'entreprise. Traiter chaque source de récupération avec ses propres signaux de fraîcheur, d'autorisations et de classement.
- Optimiser pour deux consommateurs à la fois. La récupération doit servir à la fois les LLMs (contexte ancré, efficace en tokens, résistant aux hallucinations) et les humains (découverte intuitive et explicable). Ce sont des objectifs différents qui nécessitent des signaux différents — gérez les deux.
- Résoudre la compréhension des requêtes pour les agents. Les requêtes des agents ne ressemblent pas aux requêtes web. Construire des réécritures de requêtes, des décompositions, des classifications d'intentions et des résolutions d'entités adaptées aux flux de travail agentiques multi-tours.
- Résoudre la compréhension du contenu à grande échelle. Construire les pipelines qui extraient la structure, les entités, les embeddings, les résumés et les métadonnées de chaque type d'actif pris en charge — et les maintenir à jour à mesure que les données des clients évoluent.
- Construire des sous-agents de recherche qui raisonnent sur la récupération. Concevoir la couche agentique qui décide quel contexte est nécessaire, quelles sources interroger, comment décomposer et router la recherche, et — de manière critique — si le contenu récupéré est réellement suffisant pour répondre à la question. Ces sous-agents planifieront des recherches multi-sauts, émettront des requêtes de suivi lorsque les résultats sont faibles, ancreront les affirmations sur les preuves récupérées et renverront un contexte de haute confiance (ou signaleront un échec) aux agents en amont. C'est là que la RI rencontre le raisonnement agentique.
- Construire la roue d'évaluation pour la récupération et les sous-agents. Mettre en place des évaluations hors ligne (nDCG, MRR, Recall@K, Precision@K), des cadres LLM-as-judge, une labellisation humaine en boucle et des expérimentations en ligne. Étendre l'évaluation au-delà des métriques de classement pour mesurer la qualité des décisions des sous-agents — a-t-il posé la bonne question de suivi ?, a-t-il correctement reconnu quand la récupération a échoué ?, a-t-il ancré sa réponse dans la bonne preuve ?. La qualité que vous ne pouvez pas mesurer est la qualité que vous ne pouvez pas livrer.
- Définir la direction technique et développer l'équipe. Définir la feuille de route pluriannuelle, encadrer les ingénieurs seniors, collaborer avec les responsables de la recherche, du produit et de la plateforme, et élever le niveau technique dans toute l'organisation.
Ce que nous recherchons
- Plus de 10 ans d'expérience en ingénierie logicielle, avec un temps significatif passé à construire des systèmes de récupération, de recherche ou RAG en production à grande échelle.
- Expertise approfondie en récupération d'informations (RI) : récupération lexicale (BM25, Lucene/Elasticsearch/OpenSearch), récupération dense (embeddings, index ANN — FAISS, ScaNN, HNSW), récupération hybride et apprentissage pour le classement.
- Expérience pratique avec la récupération de l'ère LLM moderne : architectures RAG, réécriture de requêtes, re-classement avec des cross-encoders, stratégies de contexte long et techniques d'ancrage qui réduisent les hallucinations.
- Expérience dans la conception de systèmes agentiques basés sur la récupération — planificateurs de recherche, récupération multi-sauts / itérative, vérifications d'auto-réflexion et de suffisance, agents utilisant des outils qui décident quoi récupérer et vérifient ce qui est revenu.
- Bonne compréhension de l'évaluation de la pertinence : nDCG, MRR, Precision@K, Recall@K ; expérimentation hors ligne/en ligne ; cadres LLM-as-judge ; construction de pipelines de labellisation humaine.
- Expérience de travail sur des données structurées et non structurées — vous avez indexé et classé des tables, du code et des documents dans le même système, et vous avez des opinions sur la manière de le faire efficacement.
- Expérience avérée dans la création de systèmes 0→1 : vous avez mis en place un système de recherche à partir d'un dépôt vide, pris les décisions architecturales fondamentales et l'avez fait évoluer pour en faire une solution sur laquelle les clients s'appuient.
- Capacité démontrée à opérer en tant que leader technique : définir la direction entre les équipes, encadrer les ingénieurs seniors et influencer la feuille de route avec les partenaires de recherche, de produit et de plateforme.
Atouts
- Expérience dans la construction de systèmes de récupération sur des sources SaaS d'entreprise (autorisations, fraîcheur, multi-locataires, indexation consciente des ACL).
- Expérience dans les systèmes agentiques, l'utilisation d'outils ou la récupération multi-tours pour les agents LLM.
- Contributions à des projets open-source de RI/recherche, ou publications à SIGIR, KDD, WWW, EMNLP, ou des lieux similaires.
- Expérience dans la formation ou le réglage fin de modèles d'embeddings, de re-rankers ou de modèles de compréhension de requêtes.
Lieu
Ce rôle est basé dans nos bureaux de Mountain View, CA ou San Francisco, CA. Collaboration hybride en personne attendue.
Transparence de la fourchette de rémunération
Databricks s'engage à des pratiques de rémunération justes et équitables. Les fourchettes de rémunération pour ce rôle sont indiquées ci-dessous et représentent la fourchette de salaire attendue pour les postes non commissionnables ou les gains cibles pour les postes commissionnables. La rémunération réelle est basée sur plusieurs facteurs uniques à chaque candidat, y compris, mais sans s'y limiter, les compétences liées au poste, la profondeur de l'expérience, les certifications et la formation pertinentes, et le lieu de travail spécifique. Sur la base des facteurs ci-dessus, Databricks prévoit d'utiliser toute la largeur de la fourchette. La rémunération totale pour ce poste peut également inclure l'éligibilité à une prime de performance annuelle, des actions et les avantages listés ci-dessus. Pour plus d'informations sur la fourchette de votre localisation, visitez notre page ici databricks.com/sites/default/files/2024-08/us-pay-zone-mapping.pdf.
Fourchette de rémunération locale
$228,600—$342,800 USD
Notre engagement envers la diversité et l'inclusion
Chez Databricks, nous nous engageons à favoriser une culture diversifiée et inclusive où chacun peut exceller. Nous prenons grand soin de veiller à ce que nos pratiques d'embauche soient inclusives et respectent les normes d'égalité d'emploi. Les personnes recherchant un emploi chez Databricks sont considérées sans distinction d'âge, de couleur, de handicap, d'origine ethnique, de statut familial ou matrimonial, d'identité ou d'expression de genre, de langue, d'origine nationale, de capacité physique et mentale, d'affiliation politique, de race, de religion, d'orientation sexuelle, de statut socio-économique, de statut d'ancien combattant et d'autres caractéristiques protégées.
Conformité
Si l'accès à une technologie ou à un code source contrôlé par les exportations est requis pour l'exécution des fonctions du poste, il appartient à l'employeur de décider s'il convient de demander une licence du gouvernement américain pour ces postes, et l'employeur peut refuser de poursuivre avec un candidat sur cette seule base.
À propos de Databricks
Databricks est la société Data et IA. Plus de 20,000 organisations dans le monde — y compris adidas, AT&T, Bayer, Block, Mastercard, Rivian, Unilever, et 70% des entreprises du Fortune 500 — s'appuient sur la plateforme de données et d'IA Databricks pour construire et faire évoluer des applications, des analyses et des agents de données et d'IA. Basée à San Francisco avec plus de 30 bureaux dans le monde entier, Databricks propose une plateforme unifiée qui comprend Genie, Lakebase, Agent Bricks, Lakeflow, Lakehouse et Unity Catalog. Pour en savoir plus, suivez Databricks sur LinkedIn linkedin.com/company/databricks, X x.com/databricks, YouTube youtube.com/@Databricks et Instagram instagram.com/databricksinc/?hl=en.
Avantages
Chez Databricks, nous nous efforçons de fournir des avantages et des avantages complets qui répondent aux besoins de tous nos employés. Pour des détails spécifiques sur les avantages offerts dans votre région, cliquez ici docs.google.com/document/d/154un3e8Xav4BceOSlcYFZRGEuQI54xMxVydRwQn54eQ/edit?usp=sharing.
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil