États-Unis
HEARTLAND BUSINESS SYSTEMS LLC
Toyota Research Institute
Ingénieur Recherche Senior, Vision par Ordinateur (LFV/WFM)
États-Unis
Los Altos, California, United States
PythonAWSDockerKubernetes
Traduction automatique. Consultez l’original.
À propos du poste
Chez Toyota Research Institute (TRI), notre mission est d'améliorer la qualité de vie humaine. Nous développons de nouveaux outils et capacités pour amplifier l'expérience humaine. Pour mener ce changement transformateur dans la mobilité, nous avons constitué une équipe de classe mondiale qui fait progresser l'état de l'art en matière d'IA, de robotique, de conduite et de sciences des matériaux.
L'équipe Learning From Videos (LFV) développe des modèles fondamentaux mondiaux qui exploitent des données multimodales à grande échelle (RVB, profondeur, flux, sémantique, actions, tactile, audio, etc.) provenant de multiples domaines pour alimenter des tâches d'IA incarnée en aval. Nos sujets d'intérêt comprennent la génération vidéo, les modèles du monde, la reconstruction 4D, les modèles multimodaux, la géométrie multi-vue, l'augmentation de données et les modèles vidéo-langage-action, avec un accent principal sur les applications incarnées telles que la robotique et la conduite. Nous faisons des progrès sur certains des défis scientifiques les plus difficiles concernant le raisonnement spatio-temporel, et comment cela peut conduire au déploiement d'agents autonomes dans des environnements non structurés du monde réel.
Notre équipe recherche un Ingénieur Recherche pour aider à développer et déployer nos modèles fondamentaux mondiaux (WFMs) vers leurs jalons clés dans le domaine de la conduite autonome. Alors que nos WFMs évoluent en termes de capacités et d'ambition, nous avons besoin d'un ingénieur solide capable de combler le fossé entre les idées de recherche et les systèmes de qualité production. Ce n'est pas un rôle traditionnel d'ingénieur logiciel ; vous travaillerez directement aux côtés de chercheurs, comprendrez la recherche suffisamment en profondeur pour prendre des décisions techniques indépendantes, et jouerez un rôle clé dans le déploiement des avancées clés de la recherche dans des environnements proches de la production.
En tant qu'Ingénieur Recherche, vous serez responsable du support et de l'optimisation de l'entraînement distribué à grande échelle de modèles de diffusion et de transformeurs ; de la maintenance de l'infrastructure qui ingère, unifie et sert des ensembles de données hétérogènes multimodales à l'échelle ; et du développement d'outils et de pipelines qui accélèrent le cycle recherche-résultats. Vous travaillerez en étroite collaboration avec les chercheurs pour prototyper de nouvelles idées, exécuter des expériences et aider à déployer nos modèles les plus performants vers des applications du monde réel avec un impact réel.
Ce rôle nécessite une collaboration étroite avec plusieurs divisions de TRI (Robotique, Conduite Automatisée, Conduite Interactive Humaine, etc.) ainsi qu'avec des partenaires externes de Toyota et des universités, et la capacité de concilier et de prioriser des exigences potentiellement concurrentes dans un environnement rapide combinant recherche et production.
Responsabilités
- Collaborer directement avec les chercheurs pour implémenter, itérer et évaluer de nouvelles architectures, objectifs, ensembles de données et stratégies d'entraînement. Traduire les prototypes de recherche en code propre, maintenable et réutilisable qui sera partagé entre plusieurs équipes de TRI et l'écosystème Toyota élargi.
- Construire et maintenir des pipelines évolutifs pour l'ingestion, la conversion, la validation et le service d'ensembles de données hétérogènes (multi-vues, multimodaux, multi-incarnations, etc.), dans les domaines de la robotique et de la conduite autonome, dans des formats unifiés prêts pour l'entraînement. Suivre et intégrer de nouveaux ensembles de données publics et internes au fur et à mesure de leur disponibilité.
- Supporter et optimiser l'entraînement distribué à grande échelle de modèles fondamentaux mondiaux sur des clusters multi-GPU et multi-nœuds. Gérer les flux de travail d'expérimentation, le profilage, le débogage et les balayages d'hyperparamètres pour garantir des performances optimales en temps voulu.
- Développer des outils pour l'inspection des données, le suivi des expériences, l'évaluation des modèles, la gestion des ressources GPU et la visualisation. Automatiser les flux de travail répétitifs pour améliorer la vélocité de l'équipe.
- Travailler avec d'autres équipes de TRI et des affiliés Toyota pour mettre en place des pipelines partagés, intégrer leurs données et soutenir les efforts conjoints d'entraînement et d'évaluation.
- Produire du code maintenable et bien documenté. Contribuer aux outils internes et aux versions open-source pour la communauté scientifique.
Qualifications
- Master ou Doctorat en Informatique, Génie Électrique, Machine Learning, ou un domaine connexe, avec un minimum de 2 ans d'expérience pertinente et de solides compétences en ingénierie logicielle.
- Maîtrise approfondie de Python, PyTorch, et de la chaîne d'outils Unix/Linux. Confort dans les flux de travail basés sur le terminal, l'utilisation de SSH sur des clusters GPU partagés.
- Expérience pratique de l'entraînement deep learning à grande échelle, y compris l'entraînement distribué (DDP, FSDP, DeepSpeed ou similaire), le profilage GPU et le débogage des échecs d'entraînement à l'échelle.
- Expérience dans la construction de pipelines de données pour des ensembles de données hétérogènes ou multimodaux (images, vidéo, profondeur, nuages de points, actions, etc.).
- Expérience avec les modèles de diffusion vidéo, la reconstruction 3D/4D et la géométrie multi-vue.
- Vous êtes proactif, autonome et à l'aise pour opérer avec de l'ambiguïté dans un environnement axé sur la recherche qui s'étend sur plusieurs divisions.
- Vous êtes un coéquipier fiable qui communique clairement et prend en charge les problèmes de bout en bout.
Qualifications Bonus
- Expérience avec l'infrastructure d'entraînement cloud (AWS SageMaker, EC2) et les flux de travail conteneurisés (Docker, Kubernetes).
- Connaissance des formats de données standard et des pipelines de collecte (ROS, MCAP, HDF5, etc.) ainsi que des environnements de simulation.
- Maîtrise des outils modernes de développement assisté par IA (par exemple, Copilot, Cursor, Claude Code) pour accélérer les flux de travail d'ingénierie.
- Un historique de contributions à des projets open-source ou de publications dans des conférences de premier plan (CVPR, ICLR, NeurIPS, RSS, ICRA, etc.) est un plus, mais pas une exigence.
Veuillez inclure des liens vers toute contribution open-source pertinente ou tout compte rendu de projet technique avec votre candidature.
Veuillez consulter cet Avis de confidentialité des candidats pour vous informer des catégories de renseignements personnels que nous collectons auprès des personnes qui s'informent et/ou postulent pour travailler chez Toyota Research Institute, Inc. ou ses filiales, y compris Toyota A.I. Ventures GP, L.P., et les finalités pour lesquelles nous utilisons ces renseignements personnels.
Il est illégal dans le Massachusetts d'exiger ou d'administrer un test polygraphique comme condition d'emploi ou de maintien de l'emploi. Un employeur qui viole cette loi est passible de sanctions pénales et de responsabilité civile. Conformément à l'Ordonnance sur la Chance Équitable de San Francisco, nous considérerons les candidats qualifiés ayant des antécédents d'arrestation et de condamnation pour l'emploi.
La fourchette de rémunération pour ce poste au début de l'emploi est prévue entre $180,000 et $258,750/an pour les postes basés en Californie.
La rémunération de base offerte dépendra de plusieurs facteurs individualisés, notamment, mais sans s'y limiter, de l'expérience du candidat, de ses compétences, de ses connaissances professionnelles et de sa localisation sur le marché. TRI offre un généreux ensemble d'avantages sociaux comprenant une assurance médicale, dentaire et visuelle, l'éligibilité au 401(k), des avantages de congés payés (y compris les vacances, les congés maladie et les congés parentaux), et une structure de bonus annuel en espèces. Des détails supplémentaires concernant ces régimes d'avantages seront fournis si un employé reçoit une offre d'emploi.
TRI est alimenté par une communauté diversifiée et inclusive de personnes aux parcours, formations et expériences de vie uniques. Nous nous engageons à favoriser un environnement innovant et collaboratif en vivant les valeurs qui sont essentielles à notre culture. Nous croyons que la diversité nous rend plus forts et sommes fiers de fournir l'égalité d'emploi pour tous, sans égard à la race, la couleur, le credo, le sexe, l'identité ou l'expression de genre, l'orientation sexuelle, l'origine nationale, l'âge, l'incapacité physique ou mentale, l'état de santé, la religion, l'état civil, les informations génétiques, le statut d'ancien combattant, ou tout autre statut protégé par les lois fédérales, étatiques ou locales.
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil