Databricks

Ingénieur logiciel senior, AI Runtime

Traduction automatique. Consultez l’original.

Transparence de la fourchette salariale

P-1428

Databricks s'engage à pratiquer une rémunération juste et équitable. La ou les fourchettes salariales pour ce poste sont indiquées ci-dessous et représentent la fourchette de salaire attendue pour les postes sans commission ou la rémunération cible pour les postes avec commission. Les packages de rémunération réels sont basés sur plusieurs facteurs propres à chaque candidat, incluant, sans s'y limiter, les compétences liées au poste, l'étendue de l'expérience, les certifications et formations pertinentes, ainsi que le lieu de travail spécifique. Sur la base des facteurs ci-dessus, Databricks prévoit d'utiliser toute l'étendue de la fourchette. Le package de rémunération total pour ce poste peut également inclure l'éligibilité à une prime de performance annuelle, des actions et les avantages sociaux listés ci-dessus. Pour plus d'informations concernant la fourchette correspondant à votre localisation, veuillez consulter notre page ici databricks.com/sites/default/files/2024-08/us-pay-zone-mapping.pdf.

Fourchette salariale locale

$160,000—$225,000 USD

Notre engagement en faveur de la diversité et de l'inclusion

Chez Databricks, nous nous engageons à favoriser une culture diversifiée et inclusive où chacun peut exceller. Nous veillons scrupuleusement à ce que nos pratiques de recrutement soient inclusives et respectent les normes d'égalité des chances en matière d'emploi. Les personnes souhaitant travailler chez Databricks sont prises en considération sans distinction d'âge, de couleur, de handicap, d'origine ethnique, de situation familiale ou maritale, d'identité ou d'expression de genre, de langue, d'origine nationale, de capacité physique ou mentale, d'affiliation politique, de race, de religion, d'orientation sexuelle, de statut socio-économique, de statut d'ancien combattant ou toute autre caractéristique protégée.

Conformité

Si l'accès à une technologie ou à un code source soumis à des contrôles à l'exportation est nécessaire pour l'exécution des fonctions du poste, il appartient à l'employeur de décider s'il convient de demander une licence au gouvernement américain pour ces postes, et l'employeur peut refuser de poursuivre le processus avec un candidat sur cette seule base.

Chez Databricks, nous exploitons la plus grande plateforme d'IA au monde. Nous sommes convaincus que les prochaines avancées viendront de modèles entraînés sur des données d'entreprise spécifiques à un domaine, et non uniquement de modèles généralistes plus volumineux.

C'est pourquoi nous avons créé AI Runtime databricks.com/product/ai-runtime, un produit serverless qui simplifie l'entraînement sur GPU, quelle que soit l'échelle, afin que les entreprises puissent entraîner leurs propres modèles comme le font les laboratoires de pointe. Des clients de tous secteurs l'utilisent, en s'appuyant directement sur les données d'entreprise déjà présentes dans Databricks. Parmi eux, Rivian dans l'automobile, Robinhood dans la fintech, et Merck, qui développe des modèles de fondation pour la découverte de médicaments. Nos propres chercheurs en IA l'utilisent pour le post-entraînement de modèles comptant des centaines de milliards, voire près d'un billion de paramètres.

Il faut beaucoup d'ingénierie pour rendre cela possible, et nous en avons parlé sur notre blog : comment nous assurons la fiabilité des GPU databricks.com/blog/how-we-keep-gpus-reliable-across-databricks-ai, rendons l'entraînement tolérant aux pannes databricks.com/blog/fast-fault-tolerant-pytorch-training-ai-runtime, et accélérons le fine-tuning databricks.com/blog/reducing-qwen-training-time-6x-ai-runtime grâce à des noyaux fusionnés et au smart sequence packing. Les agents IA lancent désormais aussi des expériences, et au sein de notre équipe de recherche, ils ont déjà multiplié les tâches d'entraînement par 8 databricks.com/blog/how-our-ai-research-team-uses-ai-runtime.

En tant qu'ingénieur logiciel senior, vous travaillerez sur les systèmes qui sous-tendent tout cela, en résolvant des problèmes techniques complexes et en contribuant à définir l'évolution d'AI Runtime.

L'impact que vous aurez

  1. Construire des composants essentiels d'AI Runtime et contribuer à l'orientation technique de Databricks en matière d'infrastructure d'entraînement IA.
  1. Développer des fonctionnalités de fiabilité et d'observabilité pour un parc dont l'échelle et la complexité ne cessent de croître.
  1. Améliorer l'expérience développeur d'AI Runtime pour les personnes et les agents, afin que même les plus grandes tâches d'entraînement semblent aussi simples qu'une première expérience.
  1. Aider à préparer AI Runtime pour les nouvelles générations de GPU et les nouveaux types de charges de travail.
  1. Prendre en charge des problèmes complexes d'entraînement multi-nœuds, de l'orchestration et de la planification GPU au chargement des données et au checkpointing.
  1. Rendre l'entraînement plus rapide et plus économique en augmentant l'efficacité à travers les architectures de modèles et les accélérateurs GPU.
  1. Collaborer avec la recherche, le produit et les clients sur nos futures réalisations et prendre la responsabilité des fonctionnalités, de la conception à la mise en production.
  1. Promouvoir l'excellence en ingénierie, placer la barre plus haut et aider les ingénieurs qui vous entourent à progresser.

Ce que nous recherchons

  1. 5+ années d'expérience dans les systèmes distribués à grande échelle, avec une expérience en entraînement GPU, calcul haute performance ou systèmes ML.
  1. Expérience dans l'entraînement de grands modèles avec FSDP, DeepSpeed ou Megatron, et familiarité avec les stratégies de parallélisme.
  1. Connaissance pratique des performances GPU, incluant l'architecture des accélérateurs, les interconnexions haut débit et les noyaux.
  1. Solide compréhension des modèles de résilience pour l'entraînement, tels que le checkpointing, la détection de pannes et la récupération automatique.
  1. Expérience dans la construction et l'exploitation de plateformes cloud multi-tenant en tant que produits.
  1. Capacité démontrée à prendre en charge des fonctionnalités complexes de bout en bout et à les mener jusqu'à un impact client concret.
  1. Clarté dans l'explication des conceptions techniques, à l'écrit comme à l'oral, et réputation de coéquipier auprès duquel les autres apprennent.
  1. Licence en informatique ou domaine connexe (Master ou Doctorat préféré).

À propos de Databricks

Databricks est l'entreprise de la donnée et de l'IA. Plus de 20,000 organisations dans le monde — dont adidas, AT&T, Bayer, Block, Mastercard, Rivian, Unilever et 70% du Fortune 500 — s'appuient sur la plateforme Data + AI de Databricks pour créer et mettre à l'échelle des applications, analyses et agents de données et d'IA. Basée à San Francisco avec plus de 30 bureaux dans le monde, Databricks propose une plateforme unifiée qui inclut Genie, Lakebase, Agent Bricks, Lakeflow, Lakehouse et Unity Catalog. Pour en savoir plus, suivez Databricks sur LinkedIn linkedin.com/company/databricks, X x.com/databricks, YouTube youtube.com/@Databricks et Instagram instagram.com/databricksinc/?hl=en.

Avantages

Chez Databricks, nous nous efforçons de fournir des avantages sociaux et des avantages en nature complets qui répondent aux besoins de tous nos employés. Pour des détails spécifiques sur les avantages offerts dans votre région, cliquez ici docs.google.com/document/d/154un3e8Xav4BceOSlcYFZRGEuQI54xMxVydRwQn54eQ/edit?usp=sharing.

Plus d’opportunités avec un seul profil

Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.

Créer mon profil

Ton prochain jobest déjà à ta recherche.

Nort

Plateforme de recrutement inversé pour développeurs

Réseaux sociauxInstagramLinkedInTwitter