Vereinigte Staaten
Redwood Materials
True Talent Solutions Partners
Full-Stack Engineer, Agent Evaluation & Reliability
Vereinigte Staaten
San Francisco, California, United States
TypeScriptNode.jsPostgreSQL
Automatische Übersetzung. Prüfe das Original.
Über die Rolle
Werden Sie Teil eines kleinen, technisch versierten Teams, das Infrastrukturen zur Evaluierung und Zuverlässigkeit von KI-Agenten für Unternehmenskunden entwickelt. Diese backend-orientierte full-stack-Rolle konzentriert sich darauf, die Leistung von Agenten messbar zu machen und die Systeme zu verbessern, die zuverlässige KI-Produkte unterstützen.
Was Sie tun werden
- Erstellen Sie backend-Systeme und Datenmodelle für Evaluierungsdatensätze, Experimentläufe, Agenten-Traces, Wissensversionen und Qualitätskriterien.
- Entwickeln und betreiben Sie Unternehmensintegrationen, einschließlich Authentifizierung, Datensynchronisierung, Wiederholungsversuchen, Überwachung und Produktionsunterstützung.
- Liefern Sie Features über den gesamten Stack hinweg, vom technischen Design und der Implementierung bis hin zu Bereitstellung, Überwachung und Iteration.
- Arbeiten Sie mit Kunden zusammen, um Systemfehler zu diagnostizieren und deren Bedürfnisse in wiederverwendbare Produktfunktionen umzuwandeln.
- Erstellen Sie Datenpipelines und Schnittstellen zum Sammeln, Analysieren und Visualisieren von Evaluationsergebnissen.
Was wir suchen
- Mindestens 3 Jahre Erfahrung im Aufbau und der Auslieferung von Produktionssystemen als full-stack-Ingenieur, idealerweise einschließlich Arbeit in einem schnelllebigen Startup.
- Praktische Erfahrung in der Entwicklung von machine learning-Modellen sowie Kenntnisse in der Evaluierung und dem Testen von KI-Agenten oder anderen nichtdeterministischen Systemen.
- Starke backend-Kenntnisse mit TypeScript und Node.js oder Bun sowie Erfahrung im Aufbau von Produktions-frontend-Features.
- Starke PostgreSQL-Kenntnisse, einschließlich Query-Optimierung, und praktische Erfahrung mit Redis, Job-Queues, Hintergrund-Workern oder Workflow-Systemen.
- Erfahrung im Design von APIs und backend-Services, im Aufbau von Evaluationsdatenpipelines und in der Entwicklung von Dashboards oder Visualisierungsschnittstellen.
- Vertrautheit mit Observability, Monitoring, Logging und der Fehlerbehebung in Produktionsumgebungen.
Vergütung & Leistungen
- Grundgehalt: 120.000 $ bis 180.000 $ jährlich.
- Visastellplätze sind verfügbar.
Standort
Vor Ort in San Francisco, Kalifornien, Vereinigte Staaten.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen