Vereinigte Staaten
Siemens
SambaNova
Senior ML Infrastructure Engineer
Vereinigte Staaten
San Jose, California, United States · Austin, Texas, United States
Python
Automatische Übersetzung. Prüfe das Original.
Über die Stelle
SambaNova ist ein führendes Unternehmen im Bereich der KI-Infrastruktur der nächsten Generation und bietet Kunden weltweit eine full-stack-Inferenzplattform. Das Herzstück der Technologie von SambaNova ist die RDU (Reconfigurable Dataflow Unit) – ein Chip, der auf einer Datenflussarchitektur basiert und nicht auf dem herkömmlichen GPU-Modell. Die Dekodierungsleistung ist besonders stark bei agentenbasierten Workloads wie Multi-Turn-Agenten, Code-Generierung und langlebigen Anwendungen. RDUs werden in SambaRack integriert, einer Hardware auf Rack-Ebene, die es Kunden ermöglicht, modernste Modelle mit besserer Leistung, höherer Energieeffizienz und schnellerer Time-to-Value bereitzustellen.
Über das Team
Das ML-Infrastruktur-Team entwickelt und betreibt den Inferenz-Stack, der die Modelle von SambaNova auf RDU-Beschleunigern ausführt – von der Anforderungsplanung und dem Caching bis hin zu den öffentlichen APIs in SambaStack und SambaCloud. Wir überführen Inferenztechniken wie spekulative Dekodierung, eingeschränkte Dekodierung und Long-Context-Serving vom Prototyp in die Produktion und verantworten die Genauigkeitsinfrastruktur, die jedes von uns bereitgestellte Feature absichert. Wir arbeiten eng mit den ML-, Compiler-, Runtime- und Produktteams zusammen, da die meisten unserer Entwicklungen alle vier Bereiche berühren.
Über die Rolle
Der Senior Software Engineer, ML Infrastructure ist für das Design, den Aufbau und den Betrieb der produktionsreifen Inferenz-Infrastruktur verantwortlich, die den Serving-Stack von SambaNova auf unserer Reconfigurable Dataflow Unit (RDU)-Architektur antreibt. SambaNova ist ein Inferenz-fokussiertes Unternehmen, und diese Rolle steht im Zentrum dieser Mission: modernste Inferenztechniken in zuverlässige, hochperformante Dienste mit geringer Latenz zu verwandeln, die Kunden über SambaStack und SambaCloud zur Verfügung gestellt werden. Der Ingenieur verantwortet End-to-End-Systeme, die Anforderungsplanung, fortschrittliche Dekodierungsalgorithmen, Caching-Ebenen, API-Oberflächen sowie die Genauigkeitsinfrastruktur umfassen, die den Stack vertrauenswürdig hält. Diese Rolle arbeitet eng mit ML-, Compiler-, Runtime- und Produktteams zusammen, um Inferenz-Features vom Prototyp bis zur Produktion bereitzustellen.
Aufgaben
- Entwurf und Operationalisierung fortschrittlicher Inferenztechniken auf der RDU zur Optimierung von Leistung und Kosten. Zu den Schwerpunkten gehören spekulative Dekodierung, eingeschränkte Dekodierung, Funktions-/Tool-Aufrufe, Prompt-Caching und Long-Context-Inferenz.
- Verantwortung für die Integration von SambaNova mit vLLM und angrenzenden Serving-Frameworks sowie deren Anpassung an die RDU-Architektur.
- Verantwortung für die öffentliche Inferenz-API-Oberfläche, die über SambaStack und SambaCloud bereitgestellt wird.
- Aufbau und Pflege der Infrastruktur zur Genauigkeitsprüfung und Regression, die jedes an Kunden ausgelieferte Inferenz-Feature absichert.
- Zusammenarbeit mit ML-, Compiler-, Runtime- und Produktteams, um Inferenz-Features vom Prototyp in die Produktion zu überführen.
- Beitrag zu technischen Design-Diskussionen, Code-Reviews und Architektur-Entscheidungen als Senior Individual Contributor.
Erforderliche Qualifikationen
- Bachelor-Abschluss in Informatik, Elektrotechnik oder einem verwandten Fachbereich
- 5+ Jahre Berufserfahrung im Aufbau und Betrieb von verteilten Systemen im großen Maßstab, idealerweise im Bereich ML-Serving
- Starke Grundlagen in der Softwareentwicklung: Algorithmen, Datenstrukturen, Nebenläufigkeit und Systemdesign
- Erfahrung im Entwurf und der Wartung von Produktionsdiensten mit strengen Anforderungen an Latenz, Durchsatz und Verfügbarkeit
- Praktische Kenntnisse moderner LLM-Inferenztechniken und Vertrautheit mit Open-Source-Serving-Stacks wie vLLM, TensorRT-LLM oder SGLang
- Fundierte Kenntnisse in Python
- Erfahrung in der teamübergreifenden Zusammenarbeit zur Bereitstellung komplexer, systemweiter Engineering-Lösungen
Grundgehaltsspanne
Grundgehaltsspanne $200,000—$275,000 USD
Einreichungsrichtlinien
Bitte beachten Sie, dass Sie für jede Position, für die Sie sich qualifiziert fühlen, ein Bewerbungsformular einreichen müssen, um als Bewerber bei SambaNova Systems berücksichtigt zu werden.
EEO-Richtlinie
SambaNova Systems ist ein Arbeitgeber, der Chancengleichheit fördert und Affirmative Action praktiziert. Alle qualifizierten Bewerber werden unabhängig von Alter (40 Jahre und älter), Hautfarbe, Behinderung, Geschlechtsidentität, genetischen Informationen, Familienstand, Militär- oder Veteranenstatus, nationaler Herkunft/Abstammung, Rasse, Religion, Weltanschauung, Geschlecht (einschließlich Schwangerschaft, Entbindung, Stillzeit), sexueller Orientierung und jedem anderen nach geltendem Bundes-, Landes- oder lokalem Recht geschützten Status bei der Einstellung berücksichtigt.
Zusammenfassung der Leistungen für Vollzeitstellen in den USA
SambaNova bietet ein wettbewerbsfähiges Gesamtvergütungspaket, das neben dem Grundgehalt auch Anteile und Sozialleistungen umfasst. Wir übernehmen 95% der Versicherungsprämien für die medizinische Krankenversicherung der Mitarbeiter und 77% der Prämien für Angehörige und bieten ein Health Savings Account (HSA) mit Arbeitgeberzuschuss an. Darüber hinaus bieten wir Zahn-, Augen-, Kurz-/Langzeit-Berufsunfähigkeits-, Basislebens-, freiwillige Lebens- und AD&D-Versicherungspläne sowie Optionen für Flexible Spending Accounts (FSA) wie Gesundheitsfürsorge, zweckgebundene Konten und Pflege für Angehörige. Unser Angebot an Wohlfühlleistungen für Sie und Ihre Angehörigen umfasst ein vollständiges Abonnement für Headspace, eine Gympass+-Mitgliedschaft mit Zugang zu Fitnessstudios, eine One-Medical-Mitgliedschaft, Beratungsdienste über ein Mitarbeiterunterstützungsprogramm und vieles mehr.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen