Vereinigte Staaten
Be Structured Technology Group
Inspira Financial
Principal AI Operations Engineer (Remote)
Vereinigte Staaten
Oak Brook, Illinois, United States
PythonSQL
Automatische Übersetzung. Prüfe das Original.
Über die Stelle
Der Principal AI Operations Engineer berichtet an den Sr. Director, AI Center of Excellence, in der Technologieabteilung. Diese Rolle definiert, wie KI-Systeme bei Inspira Financial instrumentiert, gemessen, überwacht und nachgewiesen werden. Sie treibt die Einführung dieser Standards im gesamten Unternehmen voran und umfasst sowohl von Anbietern bereitgestellte als auch intern entwickelte KI-Funktionen. Zu den Hauptaufgaben gehören der Aufbau des unternehmensweiten Telemetrie- und Observability-Standards für KI-Systeme, das Design von Frameworks für Evaluierung, Drift-Erkennung und Agent-Guardrails, die Übersetzung von KI-Risiko- und Compliance-Frameworks in operative Kontrollen und Audit-Nachweise, die Pflege des unternehmensweiten KI-Systeminventars sowie die Schulung anderer Engineering-Teams, damit diese diese Standards eigenständig anwenden können.
Aufgaben & Verantwortlichkeiten
- Definition des unternehmensweiten Telemetrie-Standards für KI-Systeme, der Traces, Prompts, Tool-Aufrufe, Retrieval, Tokens, Latenz und Kosten abdeckt und auf einem anbieterneutralen Schema wie den OpenTelemetry GenAI Semantic Conventions basiert.
- Aufbau der Logging- und Observability-Ebene, die dem AI Center of Excellence, den Geschäftsbereichen und dem AI Governance Committee eine einheitliche Sicht auf KI-Aktivitäten über benutzerdefinierte Anwendungen, Agenten-Plattformen und in Anbieterlösungen eingebettete KI hinweg bietet.
- Integration der KI-Telemetrie mit unternehmensweiten Plattformen für Log-Aggregation, Application Performance Monitoring, Sicherheitsüberwachung, Alerting und Incident Response, um operative Transparenz, Untersuchungen und die Aufbewahrung für Audits zu unterstützen.
- Etablierung von Mustern für Aufbewahrung, Schwärzung, Maskierung und Zugriff auf KI-Konversations- und Trace-Daten, die den Anforderungen an Datenschutz, Datenspeicherung und rechtliche Aufbewahrungspflichten entsprechen.
- Veröffentlichung von Referenzimplementierungen und Starter-Kits, damit Teams, die den Telemetrie-Standard übernehmen, einen funktionierenden Pfad vorfinden.
- Design des Evaluierungs-Frameworks für KI-Systeme, einschließlich Golden Datasets, Offline-Evaluierungstools, automatisiertem und LLM-as-judge Scoring sowie Regressions-Gates in CI.
- Definition von Drift-Kriterien für jede Klasse von KI-Systemen und Aufbau einer Erkennung für Verschlechterungen der Ausgabequalität, Retrieval-Verfall, Verschiebungen der Eingabeverteilung sowie stille Modell-Updates von Anbietern oder Vendoren.
- Aufbau von Runtime-Guardrails und Grenzwerterzwingung für Agenten, einschließlich Autorisierung von Tools und Aktionen, Festlegung von Umfang- und Ausgabenlimits, Eskalationspfaden, Human-in-the-Loop-Triggern und Bedingungen für harte Stopps.
- Etablierung des KI-Incident-Modells, einschließlich Schweregrad-Taxonomie, Erkennung, Alerting, Rollback, Post-Mortem-Prozess und Überführung von Incidents in neue Testfälle.
- Übersetzung von NIST AI RMF, ISO/IEC 42001, Praktiken des Modell-Risikomanagements sowie anwendbaren Datenschutz- und Aufbewahrungspflichten in operative Kontrollen, die von Ingenieuren implementiert werden können.
- Aufbau der Nachweisebene, die die Erfassung von Artefakten automatisiert, welche für interne Audits, externe Prüfungen und Due-Diligence-Prüfungen durch Kunden benötigt werden.
- Integration operativer KI-Daten mit Governance-, Risiko- und Compliance-Plattformen zur Unterstützung kontinuierlicher Kontrollüberwachung, automatisierter Nachweiserfassung, Risikoberichterstattung und Audit-Bereitschaft.
- Pflege des operativen KI-Inventars über benutzerdefinierte Builds, Agenten, Integrationen und KI-Funktionen von Anbietern hinweg, einschließlich eines Verantwortlichen, einer Risikoklassifizierung und der Kontrollabdeckung für jeden Eintrag.
- Definition des Assurance-Musters für Anbieter-KI, einschließlich erforderlicher Telemetrie, Attestierungen, Erkennung von Änderungen an Anbietermodellen und kompensierender Überwachung.
- Aufbau von Metrik-Frameworks, die KI-Nutzung, Qualität, Kosten und Risikoposition mit Geschäftsergebnissen verknüpfen, und Berichterstattung darüber an die CoE-Führung, die Leiter der Geschäftsbereiche und das AI Governance Committee.
- Verantwortung für die Sichtbarkeit und Zuordnung von Token- und Plattformkosten nach Team und Anwendungsfall sowie Leitung der daraus resultierenden Optimierungsarbeit.
- Durchführung von Arbeitssitzungen, Dokumentation von Mustern, Überprüfung von Designs und Coaching von Teams bei ihrer ersten vollständig instrumentierten KI-Bereitstellung.
- Zusammenarbeit mit Risiko, Compliance, Recht, Datenschutz und Sicherheit, um Feedback aus der Risikotriade einzubeziehen und sicherzustellen, dass angemessene Erkennungs-, Reaktions- und Minderungsmaßnahmen vorhanden sind.
- Durchführung anderer zugewiesener Aufgaben.
Qualifikationen
Ausbildung & Erfahrung
Mindestanforderungen:
- Bachelor of Science in Ingenieurwesen oder Informatik
- 8 oder mehr Jahre Erfahrung im telemetrie-gesteuerten Engineering, einschließlich 2 Jahren im Betrieb von LLM-, ML- oder agentischen Systemen in der Produktion, mit praktischer Verantwortung für Instrumentierung und Überwachung.
Fähigkeiten & Fertigkeiten
- Produktionsreife Kenntnisse in Python und SQL, einschließlich der Entwicklung von Tools, Pipelines und Diensten, auf die andere Teams angewiesen sind.
- Nachgewiesene Erfahrung in KI-Evaluierung und Observability, einschließlich Eval-Harnesses, Tracing, Scoring, Drift-Erkennung und Guardrails.
- Fundierte Kenntnisse in mindestens einem KI-Risiko- oder Governance-Framework, wie NIST AI RMF, ISO/IEC 42001, EU AI Act oder Praktiken des Modell-Risikomanagements, sowie die Fähigkeit, diese in Kontrollen und Code umzusetzen.
- Erfahrung in einer regulierten Umgebung, in der Logging, Aufbewahrung, Nachweise und Zugriffskontrolle durchgesetzt werden und nicht nur angestrebt sind.
- Fähigkeit, ohne formale Autorität Einfluss auf Engineering-Teams, Rechtsabteilungen und Führungskräfte auszuüben.
Sonstige Anforderungen
- Fähigkeit, bei Bedarf gelegentlich außerhalb der normalen Geschäftszeiten zu arbeiten, um Projektfristen einzuhalten.
- Längere Zeiträume des Sitzens an einem Schreibtisch und der Arbeit am Computer.
- Einschlägige Zertifizierungen sind ein Plus: Datadog Certified Professional, Google Cloud Professional Data Engineer für BigQuery ML oder PagerDuty’s AI Ops
- Erfahrung in Finanzdienstleistungen, Gesundheitswesen, Leistungsverwaltung oder anderen regulierten Branchen bevorzugt, insbesondere in Umgebungen, die mit PHI, PII oder treuhänderischen Daten umgehen.
- Vertiefte Kenntnisse von Telemetrie-Plattformen und damit verbundenen Metrik- und Messpraktiken bevorzugt.
- Praktische Erfahrung in der Integration und dem Betrieb von Unternehmensplattformen für KI- und Anwendungs-Observability, zentralisiertes Logging, Governance, Risiko, kontinuierliche Compliance-Überwachung, KI-Systeminventar, Evaluierung und Tests, Incident Management sowie Cloud-Kostenmanagement bevorzugt.
- FinOps- oder Cloud-Kostenmanagement-Erfahrung in Bezug auf Token- und Inferenzkosten bevorzugt.
- Vertrautheit mit KI-Sicherheit bevorzugt, einschließlich Abwehr von Prompt-Injection, OWASP LLM- und agentischen Risikokategorien, Red Teaming, Tool-Sandboxing und Least-Privilege-Design für Agenten-Identitäten.
- Nachweisbare Erfolge beim Aufbau einer Fähigkeit, die von anderen Teams freiwillig übernommen wurde, bevorzugt.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen