Nebius

21.10.2026

Staff Machine Learning Engineer, LLM Inference Optimization

Deutschland

Prague, Prague, Czechia · Berlin, Germany · Amsterdam, North Holland, Netherlands · Zurich, Zurich, Switzerland · London, England, United Kingdom · Poland

Python

Automatische Übersetzung. Prüfe das Original.

Über Nebius

Nebius leitet eine neue Ära der Cloud-Infrastruktur für die globale KI-Wirtschaft ein. Wir bauen eine full-stack KI-Cloud-Plattform, die Entwickler und Unternehmen von der Daten- und Modellschulung bis hin zur Bereitstellung in der Produktion unterstützt, ohne die Kosten und die Komplexität, die mit dem Aufbau einer großen internen KI/ML-Infrastruktur verbunden sind.

Von Ingenieuren für Ingenieure gebaut. Von der groß angelegten GPU-Orchestrierung bis zur Inferenzoptimierung bewältigen wir die schwierigen Probleme in den Bereichen Compute, Storage, Networking und angewandte KI.

Wir sind an der Nasdaq (NBIS) notiert, haben unseren Hauptsitz in Amsterdam und sind weltweit mit F&E-Zentren in Europa, Großbritannien, Nordamerika und Israel vertreten. Unser Team von über 1,500 Mitarbeitern umfasst Hunderte von Ingenieuren mit fundierter Expertise in Hardware, Software und KI-F&E.

Zusammenfassung der Rolle

Die Nebius Token Factory baut produktionsreife Inferenzlösungen für Open-Source-, Kunden- und intern optimierte Modelle. Diese Rolle verantwortet den gesamten Weg vom Modell-Artefakt bis hin zum schnellen, zuverlässigen und kosteneffizienten Endpunkt. Die Arbeit findet an der Schnittstelle von Modellinterna, Inferenz-Engines, Serving-Architektur, Benchmarking und Produktionsbereitstellung statt.

Wie ist es, bei Nebius zu arbeiten

Schnelllebig - Mutiges Denken - Ständiges Wachstum - Sinnvolle Wirkung - Vertrauen und echte Eigenverantwortung - Gelegenheit, die Zukunft der KI zu gestalten

Ihre Aufgaben

Verantwortung für einen Optimierungspfeiler auf Plattformebene, wie z. B. Quantisierung, spekulative Dekodierung, KV-Cache-Optimierung, Engine-Auswahl oder Long-Context-Serving.

Erstellung wiederverwendbarer Frameworks für Evaluierung, Benchmarking und Rollout über mehrere Modellfamilien hinweg.

Technische Leitung für MLEs, Applied Scientists, GPU-Kernel-Ingenieure und Infrastruktur-Ingenieure bei gemeinsamen Leistungszielen.

Optimierung von LLM- und VLM-Endpunkten hinsichtlich Latenz, Durchsatz, Speichereffizienz, GPU-Auslastung, Qualität und Kosten pro Token.

Bereitstellung, Konfiguration, Benchmarking und Erweiterung von Inferenz-Engines wie vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo oder ähnlichen Systemen.

Aufbau und Operationalisierung von Modellkomprimierungs-Workflows, einschließlich Quantisierung, Quantization-Aware Training, Destillation, Low-Bit-Serving und Genauigkeitswiederherstellung.

Implementierung oder Integration von spekulativer Dekodierung, Draft-Model-Ansätzen, KV-Cache-Optimierung, Präfix-Caching, Chunked Prefill, Continuous Batching und disaggregiertem Prefill/Decode-Serving.

Aufbau reproduzierbarer Benchmark-Umgebungen für TTFT, TPOT, Tokens pro Sekunde pro GPU, p95/p99-Latenz, GPU-Speicher, Zuverlässigkeit und Kosten pro Token.

Zusammenarbeit mit GPU-Kernel-Ingenieuren und Plattform-Ingenieuren zur Diagnose von Engpässen in Modellcode, Kernels, Runtime, Scheduler, Gateway und Cluster-Schichten.

Erstellung klarer Designdokumente, Leistungsberichte, Rollout-Pläne und kundenorientierter technischer Erläuterungen.

Erforderliche Qualifikationen

Starke Python- und PyTorch-Engineering-Kenntnisse.

Praktische Erfahrung in der Bereitstellung oder Optimierung von LLM-, VLM- oder hochdurchsatzfähigen Transformer-Inferenzsystemen.

Praktische Kenntnisse in mindestens einem modernen Inferenz-Stack wie vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe oder gleichwertigen internen Systemen.

Fundiertes Verständnis von Engpässen bei der Transformer-Inferenz, einschließlich KV-Cache, Attention, Speicherbandbreite, Batching, Parallelisierung und Long-Context-Serving.

Fähigkeit, quantitativ über Latenz-, Durchsatz-, Qualitäts-, Auslastungs- und Kosten-Abwägungen zu argumentieren.

Starke Kommunikationsfähigkeiten und die Fähigkeit zur Zusammenarbeit mit Forschungs-, Kernel-, Infrastruktur-, Produkt- und Kundenteams.

Bevorzugte Qualifikationen

Erfahrung mit Quantization-Aware Training, Post-Training-Quantisierung, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ, SmoothQuant oder verwandten Techniken.

Erfahrung mit Destillation, spekulativer Dekodierung, EAGLE, Medusa, Multi-Token-Vorhersage oder anderen Inferenz-Beschleunigungsmethoden.

Erfahrung mit agentischen Workloads, einschließlich Tool-Calling, strukturierten Ausgaben, Streaming-APIs, hoher Nebenläufigkeit und mehrstufiger Orchestrierung.

CUDA- oder Triton-Vertrautheit, auch wenn die Rolle nicht primär eine Kernel-Engineering-Rolle ist.

Open-Source-Beiträge zu vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray, KServe oder verwandten Projekten.

Vorteile & Vergünstigungen

Wettbewerbsfähige Vergütung

Karrierewachstum und Lernmöglichkeiten

Flexibilität und Eigenverantwortung

Kollaborative und innovative Kultur

Gelegenheit, an wirkungsvollen KI-Projekten zu arbeiten

Internationales Umfeld und talentierte Teams

Erklärung zur Chancengleichheit

Nebius ist ein Arbeitgeber, der Chancengleichheit fördert. Wir verpflichten uns, einen integrativen und vielfältigen Arbeitsplatz zu schaffen und in allen Aspekten der Beschäftigung gleiche Chancen zu bieten. Wir diskriminieren nicht aufgrund von Rasse, Hautfarbe, Religion, Geschlecht (einschließlich Schwangerschaft), nationaler Herkunft, Abstammung, Alter, Behinderung, genetischen Informationen, Familienstand, Veteranenstatus, sexueller Orientierung, Geschlechtsidentität oder -ausdruck oder anderen durch geltendes Recht geschützten Merkmalen.

Bewerber müssen für die Arbeit in dem Land, in dem sie sich bewerben, autorisiert sein und als Einstellungsvoraussetzung einen Nachweis über die Arbeitsberechtigung erbringen.

Wenn Sie während des Bewerbungsprozesses Unterstützung benötigen, lassen Sie es uns bitte wissen.

Sprachen

Staff Machine Learning Engineer, LLM Inference Optimization

Über Nebius

Zusammenfassung der Rolle

Wie ist es, bei Nebius zu arbeiten

Ihre Aufgaben

Erforderliche Qualifikationen

Bevorzugte Qualifikationen

Vorteile & Vergünstigungen

Erklärung zur Chancengleichheit

Dein nächster Jobsucht schon nach dir.

Mehr Stellen mit nur einem Profil

Weiter entdecken

Technical Support & Implementation Specialist (m/w/d)

Senior Site Reliability Engineer (SRE)

Praktikant (m/w/d) AI Engineering & Automation (Vor Ort)