B&A
Databricks
Ingénieur logiciel Staff, AI Runtime
Transparence de la fourchette salariale
P-1930
Databricks s'engage à pratiquer une rémunération juste et équitable. La ou les fourchettes salariales pour ce poste sont indiquées ci-dessous et représentent la fourchette de salaire attendue pour les rôles sans commission ou la rémunération cible pour les rôles avec commission. Les packages de rémunération réels sont basés sur plusieurs facteurs propres à chaque candidat, incluant, sans s'y limiter, les compétences liées au poste, l'étendue de l'expérience, les certifications et formations pertinentes, ainsi que le lieu de travail spécifique. Sur la base des facteurs ci-dessus, Databricks prévoit d'utiliser toute l'étendue de la fourchette. Le package de rémunération total pour ce poste peut également inclure l'éligibilité à une prime de performance annuelle, des actions et les avantages sociaux listés ci-dessus. Pour plus d'informations sur la fourchette correspondant à votre localisation, veuillez consulter notre page ici databricks.com/sites/default/files/2024-08/us-pay-zone-mapping.pdf.
Fourchette salariale locale
$190,000—$265,000 USD
Notre engagement en faveur de la diversité et de l'inclusion
Chez Databricks, nous nous engageons à favoriser une culture diversifiée et inclusive où chacun peut exceller. Nous veillons scrupuleusement à ce que nos pratiques de recrutement soient inclusives et respectent les normes d'égalité des chances en matière d'emploi. Les personnes souhaitant travailler chez Databricks sont prises en considération sans distinction d'âge, de couleur, de handicap, d'ethnie, de situation familiale ou maritale, d'identité ou d'expression de genre, de langue, d'origine nationale, de capacité physique ou mentale, d'affiliation politique, de race, de religion, d'orientation sexuelle, de statut socio-économique, de statut d'ancien combattant ou toute autre caractéristique protégée.
Conformité
Si l'accès à une technologie ou à un code source soumis à des contrôles à l'exportation est requis pour l'exécution des fonctions du poste, il est à la discrétion de l'employeur de demander ou non une licence du gouvernement américain pour ces postes, et l'employeur peut décider de ne pas donner suite à une candidature sur cette seule base.
Chez Databricks, nous exploitons la plus grande plateforme d'IA au monde. Nous sommes convaincus que les prochaines avancées proviendront de modèles entraînés sur des données d'entreprise spécifiques à un domaine, et non uniquement de modèles généralistes plus volumineux.
C'est pourquoi nous avons créé AI Runtime databricks.com/product/ai-runtime, un produit serverless qui simplifie l'entraînement sur GPU, quelle que soit l'échelle, afin que les entreprises puissent entraîner leurs propres modèles comme le font les laboratoires de pointe. Des clients de tous secteurs l'utilisent, en s'appuyant directement sur les données d'entreprise déjà présentes dans Databricks. Parmi eux, Rivian dans l'automobile, Robinhood dans la fintech, et Merck, qui développe des modèles de fondation pour la découverte de médicaments. Nos propres chercheurs en IA l'utilisent pour le post-entraînement de modèles comptant des centaines de milliards, voire près d'un trillion de paramètres.
Cela demande un travail d'ingénierie considérable, dont nous parlons sur notre blog : comment nous assurons la fiabilité des GPU databricks.com/blog/how-we-keep-gpus-reliable-across-databricks-ai, rendons l'entraînement tolérant aux pannes databricks.com/blog/fast-fault-tolerant-pytorch-training-ai-runtime, et accélérons le fine-tuning databricks.com/blog/reducing-qwen-training-time-6x-ai-runtime grâce à des noyaux fusionnés et un regroupement intelligent des séquences. Les agents d'IA lancent désormais eux aussi des expériences, et au sein de notre équipe de recherche, ils ont déjà multiplié les tâches d'entraînement par 8 databricks.com/blog/how-our-ai-research-team-uses-ai-runtime.
En tant qu'ingénieur logiciel Staff, vous travaillerez sur les systèmes qui sous-tendent tout cela, en résolvant des problèmes techniques complexes et en façonnant des aspects majeurs d'AI Runtime.
L'impact que vous aurez
- Piloter des pans majeurs de l'architecture d'AI Runtime et contribuer à définir l'orientation technique à long terme de Databricks en matière d'infrastructure d'entraînement IA.
- Concevoir les systèmes de fiabilité et d'observabilité pour un parc dont l'échelle et la complexité ne cessent de croître.
- Diriger les améliorations de l'expérience développeur d'AI Runtime pour les humains et les agents, afin que même les plus grands travaux d'entraînement semblent aussi simples qu'une première expérience.
- Aider à choisir les paris techniques qui prépareront AI Runtime aux nouvelles générations de GPU et aux nouveaux types de charges de travail.
- Prendre en charge vous-même les problèmes d'entraînement multi-nœuds les plus ardus, de l'orchestration et de la planification des GPU au chargement des données et à la gestion des points de contrôle (checkpointing).
- Rendre l'entraînement plus rapide et plus économique en augmentant l'efficacité à travers les architectures de modèles et les accélérateurs GPU.
- Collaborer avec la recherche, le produit et les clients pour définir nos prochaines réalisations et diriger des projets transversaux.
- Promouvoir l'excellence en ingénierie, placer la barre plus haut et encadrer les ingénieurs qui vous entourent.
Ce que nous recherchons
- 10+ années d'expérience dans les systèmes distribués à grande échelle, avec une expertise significative en entraînement GPU, calcul haute performance ou systèmes ML.
- Expérience pratique de l'entraînement de grands modèles avec FSDP, DeepSpeed ou Megatron, et maîtrise des stratégies de parallélisation.
- Expertise en performance GPU, incluant l'architecture des accélérateurs, les interconnexions haut débit et les noyaux (kernels).
- Solide compréhension des modèles de résilience à l'entraînement, tels que le checkpointing, la détection de pannes et la récupération automatique.
- Expérience dans la construction et l'exploitation de plateformes cloud multi-tenant en tant que produits.
- Historique de pilotage de projets techniques transversaux menés jusqu'à leur impact client.
- Capacité à obtenir un consensus au sein des équipes sur les conceptions techniques, et réputation de mentor recherché par les autres ingénieurs.
- Licence en informatique ou domaine connexe (Master ou Doctorat préféré).
À propos de Databricks
Databricks est l'entreprise de la donnée et de l'IA. Plus de 20,000 organisations dans le monde — dont adidas, AT&T, Bayer, Block, Mastercard, Rivian, Unilever et 70% du Fortune 500 — s'appuient sur la plateforme Data + AI de Databricks pour créer et mettre à l'échelle des applications, analyses et agents de données et d'IA. Basée à San Francisco avec plus de 30 bureaux dans le monde, Databricks propose une plateforme unifiée qui inclut Genie, Lakebase, Agent Bricks, Lakeflow, Lakehouse et Unity Catalog. Pour en savoir plus, suivez Databricks sur LinkedIn linkedin.com/company/databricks, X x.com/databricks, YouTube youtube.com/@Databricks et Instagram instagram.com/databricksinc/?hl=en.
Avantages
Chez Databricks, nous nous efforçons de fournir des avantages et des privilèges complets qui répondent aux besoins de tous nos employés. Pour des détails spécifiques sur les avantages offerts dans votre région, cliquez ici docs.google.com/document/d/154un3e8Xav4BceOSlcYFZRGEuQI54xMxVydRwQn54eQ/edit?usp=sharing.
