Vereinigte Staaten
Redwood Materials
Elicit
Model Behavior Engineer, Reasoning and Decision Making
RemoteVereinigte Staaten
Oakland, California, United States
Python
Automatische Übersetzung. Prüfe das Original.
Über Elicit
Elicit hilft Forschungs- und Geschäftsteams bei der Untersuchung schwieriger Fragen und bei wichtigen Entscheidungen, die auf Fakten beruhen.
Unser Ziel ist es, qualitativ hochwertiges Schlussfolgern unter Unsicherheit in größerem Umfang für Kontexte verfügbar zu machen, in denen die Einsätze hoch sind und das Feedback spärlich ist. Wir entwickeln KI-Systeme, deren Arbeit Menschen überprüfen, hinterfragen und verbessern können, damit immer fähigere KI uns auch weiser macht.
Warum wir diese Stelle besetzen
Einige der wertvollsten Fragen, vor denen Menschen stehen, sind auch die am schwierigsten zu beantwortenden. Welches Forschungsprogramm sollte ein Team vorantreiben? Welche Beweise würden seine Prioritäten ändern? Welche Unsicherheit ist es wert, vor der Verpflichtung zu einer mehrjährigen, 100-Millionen-Dollar-Studie geklärt zu werden?
Heutige Modelle können zu diesen Entscheidungen beitragen, aber sie übersehen oft einen entscheidenden Aspekt, treffen eine Annahme, die sie hätten überprüfen sollen, oder kehren eine Empfehlung zu schnell um, wenn sie mit neuen Informationen konfrontiert werden. Da sie zunehmend autonom arbeiten können, ist ihr Prozess und ihre Argumentation oft schlecht nachvollziehbar, sodass Entscheidungsträger ihren Ergebnissen nur zögerlich vertrauen. Die Bewältigung dieser Probleme erfordert ein tiefes Verständnis des Modellverhaltens, dessen, was für verschiedene Arten von Entscheidungen wichtig ist, der Umgebungen und Kulturen, in denen Entscheidungen getroffen werden, und wie komplexe Mehrpersonensysteme mit vielen menschlichen und agentenbasierten Interaktionen bewertet werden können.
Wir suchen jemanden, der diese Arbeit verantwortet: versteht, wo unsere Systeme versagen, entwickelt Methoden zur Bewertung und baut Verbesserungen, die Benutzern helfen, bessere Entscheidungen zu treffen. Sie beginnen mit konkreten Problemen in der wissenschaftlichen Forschung und Entwicklung sowie der Geschäftsstrategie und entwickeln Ansätze, die für verschiedene Arten von Entscheidungen gelten.
Über die Rolle
Sie werden unserem Ingenieurteam beitreten und an einen Engineering Manager berichten. Sie arbeiten in einem funktionsübergreifenden Ingenieurteam und arbeiten eng mit anderen Ingenieuren, Produktmanagern, Designern und Fachexperten zusammen, wobei Sie Probleme von der Untersuchung und dem experimentellen Design bis zur Implementierung und Produktnutzung bearbeiten.
Die Arbeit kombiniert sorgfältige Argumentation, die Fähigkeit, sich mit spezifischen Domänen zu befassen, und Software-Design. Sie entwerfen Agentenumgebungen und wie Agenten Probleme darstellen, Beweise sammeln, Werkzeuge nutzen, den Kontext beibehalten, ihre Schlussfolgerungen überarbeiten und miteinander koordinieren. Sie werden auch die technischen Entscheidungen treffen, die es uns ermöglichen, diese Prozesse zu inspizieren, Änderungen zu testen und auf dem aufzubauen, was funktioniert.
Der Großteil der anfänglichen Arbeit wird sich auf Systeme konzentrieren, die auf bestehenden Spitzenmodellen basieren. Training oder Feinabstimmung kann für bestimmte Probleme nützlich sein, aber die Ausrichtung der Arbeit wird dem folgen, was Benutzern hilft, besser zu argumentieren.
Was Sie verantworten werden
- Verstehen Sie die Entscheidungen, bei denen wir Menschen unterstützen. Arbeiten Sie reale Fälle mit Benutzern und Fachexperten durch. Identifizieren Sie deren Ziele, Einschränkungen, verfügbare Beweise und wichtige Unbekannte. Lernen Sie genug über ein unbekanntes Problem, um zu erkennen, wann eine Antwort am Punkt vorbeigeht.
- Definieren und messen Sie gutes Schlussfolgern. Erstellen Sie Auswertungen für Probleme, bei denen der Erfolg zunächst unterdefiniert ist. Kombinieren Sie genaue Inspektion von Beispielen, Expertenurteil und quantitative Analyse. Untersuchen Sie, ob eine bessere Punktzahl eine sinnvolle Verbesserung widerspiegelt und ob diese Verbesserung bei neuen Fällen Bestand hat.
- Verbessern Sie das Verhalten des Systems. Wandeln Sie beobachtete Fehler in Hypothesen um, die Sie testen können. Experimentieren Sie mit Problemzerlegung, Kontext, Werkzeugen und Möglichkeiten für Agenten, Informationen zu suchen oder ihre Arbeit zu überprüfen. Verfolgen Sie vielversprechende Ergebnisse bis zu Änderungen, von denen die Benutzer profitieren können.
- Entwerfen Sie die Software, die diese Arbeit zuverlässig macht. Wählen Sie nützliche Abstraktionen, Datenstrukturen und Komponenten-Grenzen für Schlussfolgerungs-Workflows und Auswertungen. Treffen Sie bewusste Kompromisse zwischen Einfachheit, Flexibilität, Zuverlässigkeit, Latenz und Kosten. Bauen Sie Systeme, deren Fehler Sie und Ihre Teamkollegen diagnostizieren können.
- Verantworten Sie die Qualität dessen, was Sie ausliefern. Schreiben Sie wartbaren Code, nehmen Sie an Design- und Code-Reviews teil und testen und überwachen Sie Ihre Änderungen. Arbeiten Sie mit anderen Ingenieuren zusammen, um Ihre Systeme in das Produkt zu integrieren und sie zu verbessern, während Sie aus der realen Nutzung lernen.
Beispielprojekte
- Erstellen und bewerten Sie einen Workflow, der einem Forschungsteam hilft, potenzielle Proteinziele zu vergleichen, die es für die Medikamentenentwicklung vorschlagen könnte, der im Lichte seiner Ziele und Entscheidungsrahmen funktioniert, eine nachvollziehbare Forschung gegen detaillierte und stressgetestete Erfolgstheorien durchführt und angesichts neuer Erkenntnisse auf dem neuesten Stand bleibt.
- Untersuchen Sie, warum ein Agent bei der Vorhersage von klinischen Studienergebnissen überreagiert auf neu eingeführte Beweise. Erstellen Sie eine Auswertung, die gerechtfertigte Urteilsänderungen von inkonsistenten unterscheidet, implementieren und testen Sie dann eine Verbesserung.
- Entwerfen Sie eine Darstellung von Beweisen, Annahmen und ungelösten Fragen, die ein Agent aktualisieren kann, während sich die Entscheidung zum Erwerb eines neuen Vermögenswerts entwickelt, und bewahren Sie gleichzeitig die Informationen, die zur Überprüfung seiner Arbeit erforderlich sind.
- Verbessern Sie die Fähigkeit eines Agenten, fehlenden Kontext zu erkennen und nützliche Fragen zu stellen, bevor er eine Empfehlung ausspricht.
- Testen Sie, ob ein Ansatz, der die Priorisierungsentscheidungen in F&E verbessert, auf die Strategie der Geschäftsentwicklung übertragen wird, und nutzen Sie das Ergebnis, um zu entscheiden, was in eine gemeinsame Komponente gehört.
Bin ich eine gute Besetzung?
Sie könnten diese Rolle genießen, wenn Sie sich dabei ertappen, wie Sie Fragen wie diese bearbeiten möchten:
- Die Empfehlung eines Modells klingt für Laien überzeugend, aber ein Experte meint, sie sei auf schwachen Beinen. Wie würden Sie die Meinungsverschiedenheit untersuchen und das Gelernte in eine nützliche Auswertung umwandeln?
- Ein Agent hat neue Beweise erworben. Wie sollte der Agent identifizieren, welche Schlussfolgerungen überarbeitet werden müssen, und wie würden Sie testen, dass er dies korrekt tut? Wie skaliert dies, wenn die Menge der Beweise auf Zehntausende von Dokumenten anwächst?
- Ein Workflow funktioniert bei einer Handvoll einfacher Beispiele. Was müssten Sie lernen, bevor Sie ihn für Kunden verwenden, und welche Teile der Implementierung würden Sie zuerst ändern?
Sie brauchen keine einstudierten Antworten. Wir möchten verstehen, wie Sie solche Probleme angehen, was Sie bauen würden und wie Sie lernen würden, ob es funktioniert hat.
Standort und Reisen
Wir haben ein großartiges Büro in Oakland, CA, und würden uns freuen, Sie dort zu sehen, wenn Sie in der Nähe wohnen. Das heißt, wir freuen uns genauso, wenn Sie remote arbeiten. Wir bringen das gesamte Team zu einem vierteljährlichen Retreat an einem schönen Ort zusammen, denn persönliche Zeit ist uns wichtig.
Vergütung
Für alle Rollen bei Elicit verwenden wir einen datengestützten Vergütungsrahmen, um sicherzustellen, dass unsere Gehälter marktgerecht, fair und einfach sind. Für diese Rolle zielen wir auf Einstiegsbereiche von ab:
- Karriere (L3): 185-220K $ + Aktienoptionen
- Senior (L4): 220-260K $ + Aktienoptionen
- Experte/Staff (L5): 250-320K $ + signifikante Aktienoptionen
Wir optimieren auf eine Einstellung, die auf L4/Senior-Niveau oder höher beitragen kann. Wir würden uns auch freuen, Staff/Principal-Level-Mitarbeiter zu treffen.
Wir bieten auch überdurchschnittliche Aktienoptionen für alle Rollen bei Elicit sowie mitarbeiterfreundliche Aktienoptionsbedingungen.
Was Sie mitbringen
- Rigoroses Denken über mehrdeutige Probleme. Sie können eine vage Frage präzisieren, versteckte Annahmen identifizieren, widersprüchliche Beweise abwägen und erklären, was Ihre Meinung ändern würde. Sie können Fortschritte erzielen und gleichzeitig klar darlegen, was Sie nicht wissen. Dies kann aus einer Vielzahl von Hintergründen stammen, wie z. B. originäre Forschung in der Wirtschaft oder die Entwicklung quantitativer Handelsansätze unter gegnerischen Bedingungen.
- Neugier über Domänen hinweg und klare Kommunikation. Sie genießen es, sich in unbekannte Themen einzuarbeiten, von Spezialisten zu lernen und Ihre Argumentation Personen mit unterschiedlicher Expertise zu erklären. Ein gutes Zeichen ist die Nutzung von Fachwissen in mehreren wissenschaftlichen Domänen oder Geschäftsbereichen.
- Gute experimentelle Instinkte. Sie können einen nützlichen Test entwickeln, wenn es keinen etablierten Benchmark gibt, Beweise von Rauschen unterscheiden und erkennen, wenn Ihre Auswertung das falsche Verhalten belohnt. Sie sind bereit, einzelne Fehler im Detail zu untersuchen.
- Die Fähigkeit, Ihre Ideen zu implementieren. Sie können selbstständig Code schreiben und debuggen, mit Daten und Modell-APIs arbeiten und ein Experiment in eine gepflegte Codebasis überführen. Sie sind mit Python oder einer vergleichbaren Sprache vertraut und bereit, in den relevanten Teilen unseres Stacks zu arbeiten.
- Praktische Vertrautheit mit Sprachmodellen. Sie haben deren Fähigkeiten und Grenzen ausreichend erforscht, um fundierte Ideen zur Verbesserung zu haben. Sie können einen Ansatz basierend auf dem Problem wählen und ihn aktualisieren, wenn sich die Modelle ändern.
- Starkes Ingenieur- und Architektururteil. Sie können ein kohärentes System entwerfen, Ihre Entscheidungen erklären und erkennen, wann eine Abstraktion hilft oder unnötige Komplexität hinzufügt. Sie haben Software entwickelt, die andere verstehen, nutzen und erweitern können. Erfahrung kann aus Produkten, Forschungssystemen oder anderen substanziellen technischen Projekten stammen; ein Full-Stack-Engineering-Hintergrund ist nicht erforderlich.
- Effektive Nutzung von Coding-Assistenten. Sie nutzen KI-Tools, um Ihre Baukapazitäten zu erhöhen, übernehmen aber die Verantwortung für das Verständnis des Designs und die Überprüfung des Ergebnisses.
Wir legen Wert auf Nachweise für diese Fähigkeiten. Umfangreiche Projekte, durchdachte Experimente und klare Erklärungen technischer Entscheidungen sind nützliche Wege, um uns zu zeigen, wie Sie arbeiten.
Leistungen und Vergünstigungen
Zusätzlich zur Arbeit an wichtigen Problemen als Teil eines produktiven und positiven Teams bieten wir auch großartige Leistungen (mit einigen Abweichungen je nach Standort):
- Flexible Arbeitsumgebung – arbeiten Sie von unserem Büro in Oakland oder remote, solange Sie für Retreats und Co-Working-Events persönlich anreisen können
- Vollständig abgedeckte Kranken-, Zahn-, Augen- und Lebensversicherungen für Sie, großzügige Abdeckung für den Rest Ihrer Familie (auch FSA/HSA)
- Flexible Urlaubsregelung mit einer Mindestempfehlung von 20 Tagen/Jahr und vielen Feiertagen
- Jeder Elician erhält ein monatliches Wellness-Stipendium von 200 $, das er für alles ausgeben kann, was seine Gesundheit und sein Wohlbefinden unterstützt.
- 401K mit einem Arbeitgeberzuschuss von 6 %
- Ein neuer Mac + 1.000 $ Budget für die Einrichtung Ihres Arbeitsplatzes oder Home-Office im ersten Jahr, dann 500 $ pro Jahr danach
- 1,000 $ vierteljährliches Budget für KI-Experimente und -Lernen, damit Sie frei mit neuen KI-Tools experimentieren können, um diese in Ihren Arbeitsablauf zu integrieren, Kurse zu belegen, Lernmaterialien zu erwerben oder an KI-fokussierten Konferenzen und Veranstaltungen teilzunehmen
- Ein Team-Administratoren, der Sie bei persönlichen und beruflichen Aufgaben unterstützen kann
Weitere Gründe, mit uns zu arbeiten, finden Sie in diesem Thread!
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen