Ingénieur Recherche Crawling

Nous construisons l'infrastructure qui fournit des quantités massives de données web aux entreprises qui entraînent les modèles d'IA les plus puissants au monde.

Nous sommes l'équipe qui aide à alimenter et à soutenir Grass, un réseau de partage de bande passante qui nous permet d'opérer un crawler distribué massif, nous donnant un accès unique à des données web publiques de haute qualité à l'échelle mondiale. En plus de cela, nous avons construit des pipelines pour ingérer, segmenter et annoter des milliards de vidéos, de transcriptions et de fichiers audio, alimentant la création de jeux de données pour les laboratoires de pointe.

Nous sommes une équipe agile, technique et qui avance rapidement. Pas de bureaucratie, pas de prise de décision lente ; juste une équipe de bâtisseurs qui repoussent les limites de ce qui est possible pour les données du web ouvert et l'IA.

Aperçu

En tant qu'Ingénieur Recherche Crawling, vous concevrez et opérerez des systèmes d'acquisition de données web à grande échelle pour la recherche et le développement de modèles. Votre travail couvrira les systèmes distribués, l'infrastructure de scraping et les pipelines de données.

Pourquoi travailler avec nous

Opportunité. Nous sommes à l'avant-garde du développement d'un crawler et d'un graphe de connaissances à l'échelle du web qui améliore l'accès aux données publiques du web et étend la valeur de l'IA aux personnes.

Culture. Nous sommes une équipe agile avec des standards élevés. Nous venons travailler non pas pour être à l'aise, mais pour découvrir ce dont nous sommes capables et pour faire un travail qui compte. Nous n'appelons pas ceux qui maintiennent le statu quo. Nous appelons ceux qui rendent meilleurs tous ceux qui les entourent.

Nous privilégions le faible ego et le rendement élevé. C'est une équipe entièrement à distance.

Veuillez noter : Ce rôle nécessite un horaire de travail qui chevauche suffisamment les heures ouvrables EST pour collaborer efficacement avec l'équipe.

Critères d'évaluation

Exemples de projets

Basé sur l'expérience et la capacité démontrée à opérer à grande échelle

Rémunération. Vous recevrez un salaire et des avantages sociaux compétitifs.