BlueAlly

23.06.2026

Senior AI Engineer

Vereinigte Staaten

Atlanta, Georgia, United States

PythonAWSDockerKubernetesTerraform

Automatische Übersetzung. Prüfe das Original.

Unternehmensbeschreibung

Bei BlueAlly ist es unsere Mission, Technologie für jede Organisation zugänglicher, verlässlicher und wirkungsvoller zu machen. Von Cloud bis Cybersicherheit, von Infrastruktur bis zur Anwendungsmodernisierung – wir setzen auf modernste Technologien und Dienstleistungen. Steigern Sie die Wirkung von Technologie in Ihrem Unternehmen mit erstklassiger Expertise, die bahnbrechende Erkenntnisse liefert. Verwandeln Sie komplexe Entscheidungen in klare Chancen mit einem vertrauenswürdigen Technologiepartner, der sicherstellt, dass der nächste digitale Fortschritt Ihr entscheidender Vorteil wird. Tauschen Sie IT-Komplexität gegen Leistungsfähigkeit mit Lösungen, die Möglichkeiten erweitern, und schreiten Sie mit der Gewissheit voran, BlueAlly als Ihren Partner für die Zukunft an Ihrer Seite zu haben.

BlueAlly. Conquer Complexity.

Stellenbeschreibung

Wir suchen einen Senior AI Engineer, der unternehmensweite KI-Systeme für unser Kundenportfolio entwirft, aufbaut und betreibt. Sie arbeiten durchgängig über den gesamten KI-Stack hinweg – von Inference-Engines und Plattform-Infrastruktur (vLLM, KV cache, Dynamo-style serving, GPU-beschleunigte AI Factory-Plattformen) bis hin zum anwendungsorientierten Engineering (RAG-Pipelines, Agent-Workflows, Prompt Engineering, Evaluierungsmethodik).

Diese Rolle richtet sich an einen Ingenieur, der Arbeitsabläufe eigenständig leiten, jüngere Ingenieure betreuen und als technische Autorität fungieren kann, der Kunden bei der Bereitstellung produktiver KI-Ergebnisse vertrauen. Sie arbeiten direkt mit Kundenarchitekten, Data Scientists, Anwendungsteams und Führungskräften zusammen – und Sie werden jedes Projekt mit einer gesteigerten Leistungsfähigkeit des Kunden und der Praxis von BlueAlly abschließen.

Hauptverantwortlichkeiten

Leitung des End-to-End-Designs, Aufbaus und Betriebs von KI-Systemen auf AI Factory-Plattformen (HPE PCAI, Dell AI Factory, Nutanix Enterprise AI und angrenzende Ökosystemschichten) über mehrere Kundenprojekte hinweg.

Entwicklung und Optimierung von LLM Inference-Serving-Stacks – mit Schwerpunkt auf vLLM und breitem Wissen im Inference-Ökosystem – für die Latenz-, Durchsatz- und Kostenziele der Kunden.

Optimierung der Inference-Leistung durch KV cache-Management, Paged Attention, Batching-Strategien und Dynamo-basiertes disaggregiertes Serving.

Architektur und Betrieb von MLOps-Pipelines, die den Modelllebenszyklus, Registries, Deployment, Rollback und Observability abdecken.

Design und Entwicklung von RAG-Anwendungen auf Basis von Vektordatenbanken – Chunking-Strategien, Retrieval-Optimierung, Reranking, Umgang mit Zitaten und Context-Window-Management.

Aufbau und Optimierung von Prompt-Engineering-Mustern in Produktionsmaßstab – System-Prompts, strukturierte Ausgaben, Tool- und Function-Calling.

Design und Wartung von LLM Evaluierungs-Harnesses – Golden Sets, Regressions-Suiten und Online-Qualitätsmetriken.

Entwicklung von Hochleistungsspeichern und Netzwerken für KI-Workloads – parallele Dateisysteme, Objektspeicher-Tiers und RDMA-Fabrics mit hohem Durchsatz und niedriger Latenz.

Betrieb von Kubernetes-Clustern, die KI-Workloads zugrunde liegen – Namespaces, RBAC, Ressourcenkontingente, Netzwerkrichtlinien, Storage-Klassen und Ingress.

Erstellung und Wartung von Container-Images, Registries und CI/CD-Pipelines für KI/ML-Dienste.

Implementierung von Monitoring, Alerting, Logging und Kapazitätsplanung über den gesamten KI-Stack hinweg.

Härtung von Umgebungen zur Erfüllung von Sicherheits- und Compliance-Anforderungen der Kunden.

Leitung der Fehlerbehebung bei Bare Metal, BIOS/Firmware, Betriebssystemen, Containern, GPUs, Frameworks und Modellen.

Direkte Zusammenarbeit mit Kunden-Stakeholdern – technisch und auf Führungsebene – zur Kommunikation von Status, Ursachenanalysen, Optionen und Empfehlungen.

Mentoring und Code-Reviews für weniger erfahrene Ingenieure; Anhebung des technischen Niveaus bei jedem Projekt, an dem Sie beteiligt sind.

Erstellung von Runbooks, Referenzarchitekturen und Wissensdatenbank-Inhalten; Leitung von Wissenstransfer- und Enablement-Sitzungen für Kunden.

Teilnahme an der Rufbereitschaft und Incident-Response für produktive KI-Workloads.

Beitrag von wiederverwendbaren Mustern, Tools und Referenzdesigns zur Praxis.

Qualifikationen

Erfahrung: 7+ Jahre in der Software-, Daten- oder Infrastrukturtechnik, davon 3+ Jahre spezifisch mit moderner KI / LLM-Systemen.

Software-Engineering: Produktionsreifes Python auf Ingenieursniveau – Testing, Code-Review, Sicherheit im Umgang mit Versionskontrolle und Bereitstellung von Code, auf den andere Ingenieure angewiesen sind.

Linux-Engineering: Fundierte Erfahrung mit Linux in der Produktion, einschließlich Systeminterna, Performance-Tuning und Fehlerbehebung.

Container: Tiefgreifende Kenntnisse in Docker – Image-Build, Registry-Management, Runtime-Tuning und Container-Sicherheit.

Hardware-Grundlagen: Starke Fähigkeiten im Bereich Server-Plattformen, einschließlich CPU/GPU-Topologien, PCIe, BMC-Management, BIOS/Firmware-Lebenszyklus und physischer bis logischer Fehlerbehebung.

AI Factory-Plattformen: Praktische Erfahrung in der Bereitstellung und dem Betrieb von mindestens einer der Plattformen HPE PCAI, Dell AI Factory oder Nutanix Enterprise AI.

Inference-Stack – vLLM: Produktionserfahrung in der Bereitstellung, Optimierung und dem Betrieb von vLLM.

Inference-Stack-Breite: Arbeitswissen über mehrere Inference- und Modell-Serving-Frameworks über vLLM hinaus, mit der Fähigkeit, das richtige Werkzeug für jeden Workload auszuwählen und zu optimieren.

Hochleistungsspeicher und Netzwerke: Praktische Erfahrung mit Speicher- und Netzwerk-Fabrics mit hohem Durchsatz und niedriger Latenz für KI-Workloads – einschließlich RDMA-Klasse-Interconnects, parallelen/Objektspeicher-Tiers, KV cache-Management und Dynamo-style disaggregiertem Serving.

MLOps: Praktische Erfahrung im Betrieb von MLOps-Tools und -Mustern – Modell-Registries, Deployment-Pipelines, GitOps, Lineage und Rollback.

Vektordatenbanken und RAG: Praktische Erfahrung in der Bereitstellung, Optimierung und Integration von Vektordatenbanken und RAG-Pipelines, einschließlich des anwendungsorientierten Engineerings, das darauf aufbaut.

Prompt-Engineering und Tool-Nutzung: Produktionserfahrung im Design von System-Prompts, strukturierten Ausgaben, Function-Calling und Tool-nutzenden LLM-Mustern.

Evaluierungsmethodik: Nachgewiesene Erfahrung im Design von LLM-Evaluierungs-Harnesses – Golden Sets, Regressions-Suiten und Qualitäts-/Kostenmetriken.

Kundenorientierung: Nachgewiesene Fähigkeit, direkt mit Kunden-Stakeholdern zusammenzuarbeiten – Durchführung von Arbeitssitzungen, Präsentation von Empfehlungen und Übersetzung technischer Details für nicht-technische Zielgruppen.

Kommunikation: Starke schriftliche und mündliche Kommunikationsfähigkeiten – klare Referenzarchitekturen, Runbooks und Vorfallberichte.

Mentoring: Nachweisbare Erfolge bei der Betreuung jüngerer Ingenieure und der Steigerung der technischen Qualität im Team durch Code-Reviews und Pair-Programming.

Netzwerkgrundlagen: TCP/IP, DNS, Load Balancing, VLANs und Firewall-Administration.

Multi-Client-Delivery: Komfort bei der Arbeit in mehreren gleichzeitigen Kundenumgebungen und beim Management konkurrierender Prioritäten unter SLA.

Bevorzugte Qualifikationen

GPU-Betrieb: Erfahrung mit GPU-Treibern, CUDA-Toolchains, GPU-Partitionierung (MIG/vGPU) und GPU-basiertem Monitoring.

NVIDIA AI Enterprise: Bereitstellungs- und Betriebserfahrung mit dem NVAIE-Software-Stack.

Ray: Vertrautheit mit Ray für verteiltes Training und Inference-Skalierung.

Kubernetes: Arbeitswissen in der Kubernetes-Administration – Helm, Ingress, RBAC, Storage-Klassen.

Identität und Zugriff: Integration von SSO und Unternehmensidentität (LDAP, AD, OIDC/SAML), Secrets-Management, Mandantentrennung.

Fine-Tuning: Vertrautheit mit LoRA/QLoRA/PEFT und überwachten Fine-Tuning-Workflows.

Token-Ökonomie: Erfahrung bei der Optimierung von Inference-Kosten – Caching, Prompt-Caching, Modell-Routing und Destillation.

MSP / Multi-Tenant-Betrieb: Erfahrung als Dienstleister, einschließlich Chargeback/Showback und Mustern zur Mandantentrennung.

Compliance-Frameworks: SOC 2, HIPAA, FedRAMP, FISMA oder CMMC-Umgebungen.

Public Cloud und Hybrid: Arbeitserfahrung mit einer oder mehreren Public Clouds und hybriden Architekturen.

Infrastructure as Code: Terraform, Ansible, Helm oder Ähnliches.

Zertifizierungen (Bevorzugt): Certified Kubernetes Administrator (CKA) oder Certified Kubernetes Application Developer (CKAD).

Cloud-Zertifizierungen – AWS, Azure oder Google Cloud.

Linux-Zertifizierungen – RHCE, RHCSA oder LFCS.

NVIDIA-Certified Associate: AI Infrastructure and Operations (NCA-AIIO) oder höhere NVIDIA-Zertifizierungen.

HPE-, Dell Technologies- oder Nutanix-Plattform-Zertifizierungen.

Was Sie auszeichnet

Echte Neugier darauf, wie KI-Systeme von Grund auf funktionieren – vom Kernel und der GPU bis hin zu Frameworks und Modellen.

Nachweisbare Erfolge bei der Wiederherstellung produktiver KI-Dienste unter Druck.

Fähigkeit, komplexe technische Konzepte in eine klare, kundenorientierte Kommunikation zu übersetzen.

Komfort im Umgang mit Mehrdeutigkeit und schnellen Veränderungen im KI/LLM-Ökosystem.

Serviceorientierte Denkweise: Sie behandeln jede Kundenumgebung, als wäre es Ihre eigene.

Der Drang, die Praxis besser zu hinterlassen, als Sie sie vorgefunden haben – durch Muster, Tools und Referenzdesigns.

Chancengleichheit

BlueAlly ist ein Arbeitgeber, der Chancengleichheit fördert. Wir verpflichten uns zum Aufbau einer vielfältigen und integrativen Belegschaft und treffen Einstellungsentscheidungen auf der Grundlage von Leistung, Qualifikation und geschäftlichen Anforderungen. BlueAlly diskriminiert bei der Einstellung nicht aufgrund von Rasse, Hautfarbe, Religion, Geschlecht (einschließlich Schwangerschaft), nationaler Herkunft, Alter, Behinderung, genetischen Informationen, sexueller Orientierung, Geschlechtsidentität oder -ausdruck, Familienstand, Veteranenstatus oder anderen gesetzlich geschützten Merkmalen.

BlueAlly bietet qualifizierten Bewerbern und Mitarbeitern mit Behinderungen angemessene Vorkehrungen. Wenn Sie eine Anpassung benötigen, um am Bewerbungs- oder Interviewprozess teilzunehmen, wenden Sie sich bitte an unser People-Team.

Zusätzliche InformationenÜber BlueAlly

BlueAlly ist ein führender Anbieter von IT-Dienstleistungen und -Lösungen, der Organisationen dabei hilft, IT-Komplexität in den Bereichen Cloud, Cybersicherheit, Infrastruktur, Daten und Anwendungsmodernisierung zu bewältigen. Mit Hauptsitz in Atlanta, Georgia, und Delivery-Teams in den Vereinigten Staaten und weltweit bedient BlueAlly Kunden vom Mittelstand bis hin zu großen Organisationen des öffentlichen Sektors und der Wirtschaft.

Gegründet im Jahr 2011, liefert BlueAlly über den gesamten Technologie-Lebenszyklus hinweg – von Strategie und Design bis hin zu Implementierung, Managed Services und kontinuierlicher Optimierung. Das Unternehmen ist auf den Listen CRN Tech Elite 150 und MSP 500 anerkannt und arbeitet eng mit führenden Technologieanbietern zusammen. Während sich Enterprise-KI von der Pilotphase in die Produktion bewegt, investiert BlueAlly in die Mitarbeiter, Plattformen und Praktiken, die erforderlich sind, um AI Factory-Ergebnisse für unsere Kunden zu liefern – und diese Rolle steht im Zentrum dieser Investition.

Vergütung: USD 180000 - USD 200000 - jährlich

Sprachen

Senior AI Engineer

Unternehmensbeschreibung

Stellenbeschreibung

Hauptverantwortlichkeiten

Qualifikationen

Bevorzugte Qualifikationen

Was Sie auszeichnet

Chancengleichheit

Zusätzliche InformationenÜber BlueAlly

Dein nächster Jobsucht schon nach dir.

Mehr Möglichkeiten mit einem Profil

Weiter entdecken

IT Support Lead

Senior IT Operations & Security Administrator

Senior Research Scientist – Robotics AI