Vereinigte Staaten
SanMar- External
Toyota Research Institute
Senior Research Engineer, Computer Vision (LFV/WFM)
Vereinigte Staaten
Los Altos, California, United States
PythonAWSDockerKubernetes
Automatische Übersetzung. Prüfe das Original.
Über die Stelle
Bei Toyota Research Institute (TRI) haben wir uns zum Ziel gesetzt, die Lebensqualität der Menschen zu verbessern. Wir entwickeln neue Werkzeuge und Fähigkeiten, um das menschliche Erleben zu erweitern. Um diesen transformativen Wandel in der Mobilität voranzutreiben, haben wir ein erstklassiges Team aufgebaut, das den Stand der Technik in den Bereichen KI, Robotik, Fahren und Materialwissenschaften weiterentwickelt.
Das Team Learning From Videos (LFV) entwickelt weltweite Fundamentmodelle, die große Mengen multimodaler Daten (RGB, Tiefe, Fluss, Semantik, Aktionen, taktil, Audio usw.) aus mehreren Domänen nutzen, um nachgelagerte, verkörperte KI-Aufgaben zu ermöglichen. Unsere Interessengebiete umfassen Videoerzeugung, Weltmodelle, 4D-Rekonstruktion, multimodale Modelle, Mehransichtsgeometrie, Datenaugmentation und Video-Sprache-Aktionsmodelle, mit einem primären Fokus auf verkörperte Anwendungen wie Robotik und Fahren. Wir machen Fortschritte bei einigen der schwierigsten wissenschaftlichen Herausforderungen im Bereich der räumlich-zeitlichen Schlussfolgerung und wie diese zur Bereitstellung autonomer Agenten in realen, unstrukturierten Umgebungen führen kann.
Unser Team sucht einen Research Engineer, der uns bei der Entwicklung und Bereitstellung unserer weltweiten Fundamentmodelle (WFMs) für deren wichtigste Meilensteine im Bereich des autonomen Fahrens unterstützt. Da unsere WFMs sowohl in Bezug auf Fähigkeiten als auch auf Ambitionen wachsen, benötigen wir einen starken Ingenieur, der die Lücke zwischen Forschungsideen und produktionsreifen Systemen schließen kann. Dies ist keine traditionelle Software-Engineering-Rolle; Sie werden direkt mit wissenschaftlichen Forschern zusammenarbeiten, die Forschung tief genug verstehen, um unabhängige technische Entscheidungen zu treffen, und eine Schlüsselrolle bei der Ermöglichung der Bereitstellung wichtiger Forschungsergebnisse in produktionsnahen Umgebungen spielen.
Als Research Engineer sind Sie für die Unterstützung und Optimierung des verteilten Trainings von Diffusions- und Transformer-Modellen im großen Maßstab verantwortlich; die Wartung der Infrastruktur, die heterogene multimodale Datensätze im großen Maßstab aufnimmt, vereinheitlicht und bereitstellt; und die Entwicklung von Werkzeugen und Pipelines, die den Forschungs-zu-Ergebnis-Zyklus beschleunigen. Sie werden eng mit Forschern zusammenarbeiten, um neue Ideen zu prototypisieren, Experimente durchzuführen und unsere erfolgreichsten Modelle für reale Anwendungen mit realer Wirkung zu versenden.
Diese Rolle erfordert eine enge Zusammenarbeit mit mehreren TRI-Abteilungen (Robotik, automatisiertes Fahren, menschlich-interaktives Fahren usw.) sowie mit externen Toyota- und Universitätspartnern und die Fähigkeit, möglicherweise konkurrierende Anforderungen in einer schnelllebigen Kombination aus Forschungs- und Produktionsumgebungen zu versöhnen und zu priorisieren.
Aufgaben
- Direkte Zusammenarbeit mit wissenschaftlichen Forschern zur Implementierung, Iteration und Bewertung neuer Architekturen, Ziele, Datensätze und Trainingsstrategien. Übersetzung von Forschungsprototypen in sauberen, wartbaren, wiederverwendbaren Code, der über mehrere TRI-Teams und das breitere Toyota-Ökosystem hinweg geteilt wird.
- Erstellung und Wartung skalierbarer Pipelines für die Aufnahme, Konvertierung, Validierung und Bereitstellung heterogener Datensätze (Mehransicht, multimodal, Multi-Embodiment usw.) aus den Bereichen Robotik und autonomes Fahren in einheitliche, trainingsbereite Formate. Verfolgung und Integration neuer öffentlicher und interner Datensätze, sobald sie verfügbar werden.
- Unterstützung und Optimierung des verteilten Trainings von weltweiten Fundamentmodellen im großen Maßstab auf Multi-GPU- und Multi-Node-Clustern. Verwaltung von Workflow-Experimenten, Profiling, Debugging und Hyperparameter-Sweeps, um eine optimale Leistung zeitnah sicherzustellen.
- Entwicklung von Werkzeugen für die Datensatzinspektion, das Experiment-Tracking, die Modellbewertung, die GPU-Ressourcenverwaltung und die Visualisierung. Automatisierung wiederkehrender Arbeitsabläufe zur Verbesserung der Teamgeschwindigkeit.
- Zusammenarbeit mit anderen TRI-Teams und Toyota-Tochtergesellschaften zur Einrichtung gemeinsamer Pipelines, zur Aufnahme ihrer Daten und zur Unterstützung gemeinsamer Trainings- und Bewertungsbemühungen.
- Erstellung von wartbarem, gut dokumentiertem Code. Beitrag zu internen Werkzeugen und Open-Source-Veröffentlichungen für die wissenschaftliche Gemeinschaft.
Qualifikationen
- Master- oder PhD-Abschluss in Informatik, Elektrotechnik, Machine Learning oder einem verwandten Fachgebiet, mit mindestens 2 Jahren relevanter Erfahrung und starken Software-Engineering-Kenntnissen.
- Tiefgehende Kenntnisse in Python, PyTorch und der Unix/Linux Toolchain. Komfort bei der Arbeit in terminallastigen, SSH-basierten Workflows auf gemeinsam genutzten GPU-Clustern.
- Praktische Erfahrung mit groß angelegtem deep learning-Training, einschließlich verteiltem Training (DDP, FSDP, DeepSpeed oder ähnlich), GPU-Profiling und Debugging von Trainingsfehlern im großen Maßstab.
- Erfahrung im Aufbau von Datenpipelines für heterogene oder multimodale Datensätze (Bilder, Videos, Tiefen, Punktwolken, Aktionen usw.).
- Erfahrung mit Video-Diffusionsmodellen, 3D/4D-Rekonstruktion und Mehransichtsgeometrie.
- Sie sind proaktiv, selbstständig und fühlen sich wohl, mit Ambiguität in einem forschungsgetriebenen Umfeld zu arbeiten, das mehrere Abteilungen umfasst.
- Sie sind ein zuverlässiger Teamplayer, der klar kommuniziert und die Verantwortung für Probleme von Anfang bis Ende übernimmt.
Zusätzliche Qualifikationen
- Erfahrung mit Cloud-Trainingsinfrastrukturen (AWS SageMaker, EC2) und containerisierten Workflows (Docker, Kubernetes).
- Vertrautheit mit Standard-Datenformaten und Erfassungs-Pipelines (ROS, MCAP, HDF5, etc.) sowie Simulationsumgebungen.
- Kenntnisse in modernen KI-gestützten Entwicklungswerkzeugen (z. B. Copilot, Cursor, Claude Code) zur Beschleunigung von Engineering-Workflows.
- Erfolgsbilanz bei Beiträgen zu Open-Source-Projekten oder Veröffentlichungen auf Top-Veranstaltungen (CVPR, ICLR, NeurIPS, RSS, ICRA usw.) ist von Vorteil, aber nicht erforderlich.
Bitte fügen Sie Ihrer Bewerbung Links zu relevanten Open-Source-Beiträgen oder technischen Projektbeschreibungen bei.
Bitte beachten Sie diese Kandidaten-Datenschutzhinweise, um sich über die Kategorien personenbezogener Daten zu informieren, die wir von Personen sammeln, die sich für eine Anstellung bei Toyota Research Institute, Inc. oder seinen Tochtergesellschaften, einschließlich Toyota A.I. Ventures GP, L.P., interessieren und/oder sich bewerben, sowie über die Zwecke, für die wir solche personenbezogenen Daten verwenden.
In Massachusetts ist es gesetzeswidrig, einen Lügendetektortest als Bedingung für eine Einstellung oder Weiterbeschäftigung zu verlangen oder durchzuführen. Ein Arbeitgeber, der gegen dieses Gesetz verstößt, unterliegt strafrechtlichen Sanktionen und zivilrechtlichen Haftungsansprüchen. Gemäß der San Francisco Fair Chance Ordinance werden wir qualifizierte Bewerber mit Festnahme- und Verurteilungsakten für die Beschäftigung berücksichtigen.
Die Gehaltsspanne für diese Position bei Beginn des Arbeitsverhältnisses wird voraussichtlich zwischen $180,000 und $258,750/Jahr für Rollen in Kalifornien liegen.
Das angebotene Grundgehalt hängt von mehreren individuellen Faktoren ab, darunter unter anderem die Erfahrung, die Fähigkeiten, das fachspezifische Wissen und der Standort des Kandidaten. TRI bietet ein großzügiges Leistungspaket, einschließlich Kranken-, Zahn- und Augenversicherung, 401(k)-Berechtigung, bezahlte Urlaubszeiten (einschließlich Urlaub, Krankheitstage und Elternurlaub) und eine jährliche Bargeldbonusstruktur. Zusätzliche Details zu diesen Leistungspaketen werden zur Verfügung gestellt, wenn ein Mitarbeiter ein Stellenangebot erhält.
TRI wird von einer vielfältigen und integrativen Gemeinschaft von Menschen mit einzigartigen Hintergründen, Ausbildungen und Lebenserfahrungen angetrieben. Wir sind bestrebt, ein innovatives und kollaboratives Umfeld zu fördern, indem wir die Werte leben, die ein wesentlicher Bestandteil unserer Kultur sind. Wir glauben, dass Vielfalt uns stärker macht, und sind stolz darauf, allen Chancengleichheit zu bieten, unabhängig von Rasse, Hautfarbe, Glauben, Geschlecht, Geschlechtsidentität oder -ausdruck, sexueller Orientierung, nationaler Herkunft, Alter, körperlicher oder geistiger Behinderung, medizinischem Zustand, Religion, Familienstand, genetischen Informationen, Veteranenstatus oder einem anderen Status, der nach Bundes-, Landes- oder lokalen Gesetzen geschützt ist.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen