Vereinigte Staaten
Redwood Materials
Databricks
Staff Software Engineer, AI Runtime
Vereinigte Staaten
Mountain View, California, United States · San Francisco, California, United States
Automatische Übersetzung. Prüfe das Original.
Unser Engagement für Vielfalt und Inklusion
P-1930
Schauen Sie sich unsere aktuellen Blogbeiträge an:
- How we keep GPUs reliable across Databricks AI databricks.com/blog/how-we-keep-gpus-reliable-across-databricks-ai
- Fast, fault-tolerant PyTorch training on AI Runtime [Fast,%20fault-tolerant%20PyTorch%20training%20on%20AI%20Runtime]
Transparenz der Gehaltsspanne
Databricks verpflichtet sich zu fairen und gerechten Vergütungspraktiken. Die unten aufgeführte Gehaltsspanne(n) für diese Rolle stellt die erwartete Gehaltsspanne für nicht-provisionspflichtige Positionen oder die Zielverdienste für provisionspflichtige Positionen dar. Die tatsächlichen Vergütungspakete basieren auf mehreren Faktoren, die für jeden Kandidaten einzigartig sind, darunter, aber nicht beschränkt auf, berufsbezogene Fähigkeiten, Erfahrungstiefe, relevante Zertifizierungen und Schulungen sowie den spezifischen Arbeitsort. Basierend auf den oben genannten Faktoren geht Databricks davon aus, die volle Breite der Spanne zu nutzen. Das Gesamtvergütungspaket für diese Position kann auch die Berechtigung für einen jährlichen Leistungsbonus, Aktienoptionen und die oben aufgeführten Leistungen umfassen. Weitere Informationen darüber, in welcher Spanne Ihr Standort liegt, finden Sie hier auf unserer Seite databricks.com/sites/default/files/2024-08/us-pay-zone-mapping.pdf.
Lokale Gehaltsspanne
$190,000—$265,000 USD
Unser Engagement für Vielfalt und Inklusion
Bei Databricks setzen wir uns für die Förderung einer vielfältigen und inklusiven Kultur ein, in der jeder erfolgreich sein kann. Wir legen großen Wert darauf, dass unsere Einstellungspraktiken inklusiv sind und die Standards für Chancengleichheit erfüllen. Personen, die eine Anstellung bei Databricks suchen, werden unabhängig von Alter, Hautfarbe, Behinderung, ethnischer Zugehörigkeit, Familien- oder Familienstand, Geschlechtsidentität oder -ausdruck, Sprache, nationaler Herkunft, physischer und geistiger Fähigkeit, politischer Zugehörigkeit, Rasse, Religion, sexueller Orientierung, sozioökonomischem Status, Veteranenstatus und anderen geschützten Merkmalen berücksichtigt.
Compliance
Wenn der Zugriff auf exportkontrollierte Technologie oder Quellcode für die Erfüllung der Arbeitsaufgaben erforderlich ist, liegt es im Ermessen des Arbeitgebers, eine US-Regierungslizenz für solche Positionen zu beantragen, und der Arbeitgeber kann allein aus diesem Grund davon absehen, mit einem Bewerber fortzufahren.
Bei Databricks sind wir leidenschaftlich daran interessiert, Datenteams zu befähigen, die weltweit schwierigsten Probleme zu lösen – von der Realisierung der nächsten Verkehrsform bis zur Beschleunigung der Entwicklung medizinischer Durchbrüche. Dies tun wir, indem wir die weltweit beste Daten- und KI-Infrastrukturplattform aufbauen und betreiben, damit unsere Kunden tiefe Dateneinblicke nutzen können, um ihr Geschäft zu verbessern.
Das Training und die Anpassung modernster KI-Modelle gehören zu den anspruchsvollsten Rechenlasten und stehen im Mittelpunkt der Mosaic AI-Mission von Databricks. AI Runtime (AIR) ist unsere verwaltete Plattform für GPU-Training und Fine-Tuning im großen Maßstab. Sie bietet Kunden On-Demand-Zugriff auf Flotten der neuesten Beschleuniger und eine serverlose Erfahrung, die die Komplexität der Bereitstellung, Planung und Orchestrierung von Multi-Node-Jobs verbirgt, mit der Ausfallsicherheit, um das Training über Tage oder Wochen auf Tausenden von GPUs am Laufen zu halten. AIR unterstützt das gesamte Spektrum des benutzerdefinierten Trainings, vom Fine-Tuning offener Modelle bis zum Pre-Training von Foundation-Modellen im Frontier-Maßstab für einige der anspruchsvollsten KI-Teams der Welt.
Als Staff Software Engineer für AI Runtime spielen Sie eine entscheidende Rolle beim Aufbau und der Skalierung der Systeme, die das Training im großen Maßstab schnell, zuverlässig und mühelos machen. Sie treiben die Architektur und Weiterentwicklung des verwalteten GPU-Trainingsstacks voran, der Planung und Kapazität, verteilte Trainingsleistung, Fehlertoleranz und die Entwicklererfahrung beim Starten und Betreiben von Jobs im großen Maßstab umfasst. Neben hands-on Beiträgen zu Kernsystemen werden Sie helfen, die langfristige technische Vision für AIR zu definieren, Senior Engineers zu betreuen, mit Produkt-, Forschungs- und Plattformteams zusammenzuarbeiten und die Initiativen zu leiten, die die technische und geschäftliche Wirkung des benutzerdefinierten Trainings bei Databricks erweitern.
Ihr Einfluss
- Treiben Sie die Architektur und Weiterentwicklung der verwalteten GPU-Trainingsplattform von AIR voran und liefern Sie skalierbares, hochdurchsatzfähiges und ausfallsicheres Training über Flotten hinweg, die Tausende von Beschleunigern umfassen.
- Lösen Sie die schwierigsten Probleme im groß angelegten Training, einschließlich Multi-Node-Orchestrierung, verteilten Parallelitätsstrategien, GPU-Planung und dynamischem Routing, hochdurchsatzfähiger Datenladung sowie Checkpointing und Wiederherstellung für sehr lang laufende Jobs.
- Steigern Sie die GPU-Effizienz und Trainingsleistung, indem Sie die Auslastung (wie Modell-FLOPs-Auslastung und End-to-End-Durchsatz) erhöhen und die Kosten pro Trainingslauf über verschiedene Modellarchitekturen und Hardwaregenerationen hinweg senken.
- Bauen Sie die Ausfallsicherheits- und Beobachtbarkeitsgrundlagen auf, die Multi-Node-Jobs gesund halten, und erkennen und beheben Sie Hardware- und Softwarefehler mit minimalen Unterbrechungen für Kunden.
- Arbeiten Sie mit Produkt-, Forschungs- und Plattformteams zusammen, um die APIs, die CLI und die Entwicklererfahrung zu gestalten, die das Starten, Überwachen und Debuggen von Produktions-Trainingsjobs erleichtern.
- Leiten Sie End-to-End-Engineering-Aufgaben, vom Design bis zur Produktionsfreigabe, und setzen Sie einen hohen Standard für Leistung, Korrektheit und Zuverlässigkeit.
- Leisten Sie direkte, wirkungsvolle Beiträge zu den Kernsystemen hinter AIR und helfen Sie bei der Unterstützung der neuesten Beschleuniger und neuer Regionen, während die Flotte wächst.
- Vertreten Sie technische Exzellenz, betreuen Sie andere Ingenieure durch Design-Reviews und technische Diskussionen und helfen Sie bei der Gestaltung der langfristigen technischen Ausrichtung von Databricks im Bereich der KI-Trainingsinfrastruktur.
Was wir suchen
- 10+ Jahre Erfahrung im Aufbau und Betrieb von verteilten Systemen im großen Maßstab, mit erheblicher Tiefe in der GPU-Trainingsinfrastruktur, High-Performance Computing oder ML-Systemen.
- Praktische Erfahrung mit verteilten Trainingsframeworks (wie PyTorch, FSDP, DeepSpeed oder Megatron) und den Parallelitätsstrategien (Daten-, Tensor-, Pipeline- und Sequenzparallelität), die zum Trainieren großer Modelle verwendet werden.
- Starkes Verständnis von Mustern zur Trainingsausfallsicherheit, einschließlich Checkpointing, Fehlererkennung und automatischer Wiederherstellung für lang laufende Multi-Node-Jobs.
- Solides Verständnis der Grundlagen der GPU-Leistung, einschließlich Beschleunigerarchitektur, Hochgeschwindigkeitsverbindungen (wie NVLink und InfiniBand oder RoCE), kollektiver Kommunikation und der Engpässe, die den Trainingsdurchsatz und die Auslastung bestimmen.
- Erfahrung im Aufbau und Betrieb von verwalteten, Multi-Tenant-Plattformprodukten in der Cloud mit klaren SLAs und SLOs für Verfügbarkeit, Leistung und Zuverlässigkeit.
- Starke Grundlage in Algorithmen, Datenstrukturen und Systemdesign, angewendet auf leistungssensitive, verteilte Systeme im großen Maßstab.
- Nachgewiesene Fähigkeit, technisch komplexe, wirkungsvolle Initiativen zu liefern, die einen klaren Kunden- oder Geschäftswert schaffen.
- Starke Kommunikationsfähigkeiten und die Fähigkeit, in einem schnelllebigen Umfeld mit Produkt-, Forschungs- und Infrastrukturteams zusammenzuarbeiten.
- Strategische, produktorientierte Denkweise mit der Fähigkeit, technische Umsetzung an einer langfristigen Vision auszurichten, und eine Leidenschaft für die Betreuung von Ingenieuren und die Förderung technischer Exzellenz.
- BS in Informatik oder einem verwandten Fachgebiet (MS oder PhD bevorzugt).
Über Databricks
Databricks ist das Data and AI Unternehmen. Mehr als 20,000 Organisationen weltweit – darunter adidas, AT&T, Bayer, Block, Mastercard, Rivian, Unilever und 70% der Fortune 500 – verlassen sich auf die Databricks Data + AI Platform, um Daten- und KI-Anwendungen, Analysen und Agenten zu erstellen und zu skalieren. Mit Hauptsitz in San Francisco und über 30 Büros weltweit bietet Databricks eine einheitliche Plattform, die Genie, Lakebase, Agent Bricks, Lakeflow, Lakehouse und Unity Catalog umfasst. Um mehr zu erfahren, folgen Sie Databricks auf LinkedIn linkedin.com/company/databricks, X x.com/databricks, YouTube youtube.com/@Databricks und Instagram instagram.com/databricksinc/?hl=en.
Leistungen
Bei Databricks bemühen wir uns, umfassende Leistungen und Vergünstigungen anzubieten, die den Bedürfnissen aller unserer Mitarbeiter entsprechen. Spezifische Details zu den in Ihrer Region angebotenen Leistungen finden Sie hier docs.google.com/document/d/154un3e8Xav4BceOSlcYFZRGEuQI54xMxVydRwQn54eQ/edit?usp=sharing.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen