Arcana Analytics

21.07.2026

Senior AI Engineer — Inference & Agent Systems

Vereinigte Staaten

United States

PythonPostgreSQLDockerGo

Automatische Übersetzung. Prüfe das Original.

Was wir entwickeln

Titel: Applied AI Engineer — Inference & Agent Systems

Arcana entwickelt KI-Agenten, die Informationen aus heterogenen Quellen synthetisieren und strukturierte, begründete Antworten in Echtzeit liefern. Das Produkt funktioniert nur, wenn die Agenten schnell, zuverlässig und korrekt sind, nicht nur annähernd korrekt.

Unser Stack: Go + Temporal für Orchestrierung, eine Plan-Execute-Synthesize-Agentenarchitektur und ein Evaluierungs-Framework, mit dem wir jede Regression messen. Die Probleme sind schwierig. Die Latenzanforderungen sind aggressiv. Die Genauigkeitsanforderungen sind unnachgiebig.

Warum diese Rolle

Die Probleme hier haben noch keine Blogbeiträge. Parallele Agenten-DAG-Ausführung unter strengen Latenzbudgets, Streaming-Synthese über Teilergebnisse von Sub-Agenten, Eval-Harnesses für nicht-deterministische mehrstufige Systeme: Dies sind echte ungelöste Probleme in Produktionsqualität. Kleines Team. Hohe Verantwortung. Jede Entscheidung eines Ingenieurs wird in der Produktion eingesetzt.

Bewerben

Standort: Vereinigte Staaten

Senden an: [careers@arcana.io]

Bitte angeben:

Ein System, das Sie entwickelt haben, bei dem Latenz die primäre Einschränkung war: Was Sie gemessen, was Sie geändert, was sich bewegt hat

Link zu etwas Öffentlichem (Code, Texte, Vorträge)

Kein Anschreiben erforderlich

Wir antworten auf jede Bewerbung.

Die Arbeit

Inferenzoptimierung

TTFT unter 400 ms für mehrstufige Agenten-Pipelines treiben

Streaming-Optimierung: Erstes Token an den Benutzer, während Sub-Agenten noch laufen

KV-Cache-Strategie, Prompt-Kompression, dynamisches Kontextfenstermanagement

Multi-Provider-Routing: Modellauswahl nach Latenz, Kosten und Aufgabentyp über OpenAI, Anthropic, Gemini und Open-Weight-Modelle

Agentenarchitektur

Design und Implementierung von Plan-Execute-Synthesize-Pipelines, die Sub-Agenten in parallelen DAGs ausführen, nicht in sequenziellen Ketten

Zuverlässige Orchestrierung auf Basis von Temporal aufbauen: Wiederholungsversuche, Timeouts, Wiederherstellung bei Teilausfällen, Idempotenz

Erzwingung strukturierter Ausgaben: JSON-Schema-Validierung, Wiederholungsschleifen bei fehlerhaften LLM-Ausgaben, graceful Degradation

Tool-Call-Design: Schema-Design, dem LLMs über Anbieter hinweg zuverlässig folgen können

Evaluierung & Harness

Das Eval-Framework von Ende zu Ende verantworten: Ground-Truth-Datensätze, automatisierte Scoring-Pipelines, Regressionserkennung bei jedem PR

LLM-as-judge-Pipelines zur qualitativen Ausgabebewertung

Latenz-Regressionstests - p50/p95/p99 bei jedem Deployment verfolgt

Design von adversariellen Testfällen: mehrdeutige Anfragen, fehlende Daten, widersprüchliche Quellen, fehlerhafte Tool-Antworten

Infrastruktur

Modell-Serving und Cold-Start-Optimierung

Async-Worker-Architektur für parallele Sub-Agenten-Ausführung

Observability: Jeden Token, jeden Tool-Call, jeden Syntheseschritt verfolgen

Was wir suchen

Sie haben etwas entwickelt, das in der Produktion in sinnvollem Umfang läuft, und Sie verstehen, warum es schnell ist (oder warum nicht).

Starkes Signal

Sie haben an Inferenz-Pipelines gearbeitet, bei denen TTFT die primäre Metrik war und Sie diese maßgeblich verbessert haben

Sie haben mehrstufige Agentensysteme entwickelt und wissen, wo sie versagen – nicht aus Papers, sondern weil Sie sie in der Produktion scheitern gesehen haben

Sie haben Eval-Harnesses von Grund auf neu geschrieben und haben Meinungen darüber, was ein Ground-Truth-Datensatz wirklich nützlich macht -

Sie haben LLM-Nichtdeterminismus in der Produktion debuggt und Systeme entwickelt, die dagegen resilient sind

Sie haben mit Streaming-LLM-Ausgaben gearbeitet und Infrastruktur für die Verarbeitung von Teilausgaben aufgebaut

Stack-Vertrautheit (wir legen mehr Wert auf Tiefe als auf Übereinstimmung): Go, Python, Temporal, Kafka, PostgreSQL, Docker

Wen wir hören wollen

Sie haben Inferenzsysteme ausgeliefert bei:

Einem Echtzeit-KI-Produkt (Suche, Coding-Assistent, Chat in großem Maßstab)

Einem Model-Serving-Infrastrukturunternehmen

Einer Agentenplattform (beliebiger Bereich)

Oder Sie haben Eval-/Harness-Infrastruktur entwickelt, der ein Team von 10+ Ingenieuren tatsächlich vertraute, um Regressionen zu erkennen.

Schwächeres Signal (aber nicht disqualifizierend)

Sie haben Modelle feinabgestimmt, aber keine Inferenzsysteme ausgeliefert

Sie haben LangChain/LlamaIndex verwendet, aber nicht die darunterliegende Schicht entwickelt

Starker ML-Forschungsbackground ohne Systemerfahrung

Sprachen