Brésil
SONDA
Jobgether
Ingénieur Évaluation IA
Brésil
Brazil
TypeScriptPythonGo
Traduction automatique. Consultez l’original.
À propos du poste
Ce poste est publié pour le compte d'une société partenaire, qui gère toutes les candidatures et les prochaines étapes. Notre partenaire recherche un Ingénieur Évaluation IA basé au Brésil.
Comment fonctionne Jobgether
Nous utilisons un processus de mise en correspondance alimenté par l'IA pour garantir que votre candidature est examinée rapidement, objectivement et équitablement par rapport aux exigences principales du poste. Notre système identifie les candidats les mieux adaptés, et cette liste restreinte est ensuite partagée directement avec l'entreprise embauchant. La décision finale et les prochaines étapes (entretiens, évaluations) sont gérées par leur équipe interne.
Nous apprécions votre intérêt et vous souhaitons bonne chance !
Pourquoi postuler via Jobgether ?
Avis de confidentialité des données : En soumettant votre candidature, vous reconnaissez que Jobgether traitera vos données personnelles pour évaluer votre candidature et partager les informations pertinentes avec l'employeur embauchant. Ce traitement est basé sur l'intérêt légitime et les mesures précontractuelles en vertu des lois applicables sur la protection des données (y compris le RGPD). Vous pouvez exercer vos droits (accès, rectification, effacement, opposition) à tout moment.
#LI-CL1
En tant qu'Ingénieur Évaluation IA fondateur, vous concevrez et construirez l'infrastructure d'évaluation, de test et d'observabilité qui garantit que les agents IA de niveau production fonctionnent de manière fiable, sûre et efficace. Vous développerez des systèmes de test automatisés pour le raisonnement complexe, les conversations multi-tours et les interactions d'agents impliquant des APIs, des bases de données et l'exécution de code. En travaillant sur l'ingénierie IA, les tests logiciels et l'infrastructure, vous créerez des pipelines d'évaluation évolutifs qui vont au-delà du QA traditionnel et des tests manuels de prompts. Vous établirez des tests de régression robustes, des méthodes d'évaluation statistique et des scénarios contradictoires pour identifier les faiblesses avant le déploiement. C'est une opportunité de prendre en charge une architecture d'évaluation à partir de zéro tout en travaillant avec des technologies IA modernes dans un environnement entièrement à distance et distribué mondialement. Votre travail contribuera directement à la fiabilité, à la sécurité et à l'amélioration continue des systèmes IA avancés.
Responsabilités
- Concevoir, construire et maintenir des pipelines de test automatisés pour les CI/CD afin de valider le comportement des agents IA avant le déploiement et tout au long du cycle de développement.
- Développer et maintenir des jeux de données de référence contenant des prompts de régression, des cas limites et des scénarios synthétiques pour mesurer la précision, la sécurité, la performance et la latence des agents.
- Implémenter des vérifications d'évaluation rapides, rentables et déterministes avant d'introduire des approches LLM-as-a-judge, y compris la validation de schémas JSON, les expressions régulières, les vérifications de statut API et la similarité d'intégration.
- Créer des suites de tests complètes pour les conversations multi-tours d'agents, en évaluant la rétention de contexte, la cohérence de l'état, le comportement de raisonnement et les garde-fous contre les boucles d'appel d'outils infinies.
- Concevoir et implémenter des scénarios de test contradictoires pour évaluer la résilience contre l'injection de prompts, les entrées malformées, les réponses inattendues des outils et d'autres vulnérabilités de sécurité potentielles.
- Construire des cadres d'évaluation statistique pour mesurer le comportement IA non déterministe en utilisant des taux de réussite sur plusieurs exécutions, des intervalles de confiance et d'autres métriques quantitatives de fiabilité.
- Intégrer les flux de travail d'évaluation dans les Actions GitHub ou des systèmes CI comparables en utilisant l'exécution au niveau SDK et des pratiques de test automatisées.
- Implémenter des solutions d'observabilité et de traçage à l'aide d'outils tels que OpenTelemetry, LangSmith, Arize Phoenix, W&B Weave, ou des plateformes équivalentes pour surveiller l'exécution des agents et diagnostiquer les échecs.
- Optimiser l'efficacité et le coût de l'évaluation grâce à la mise en cache, au mock et à d'autres techniques qui réduisent les appels inutiles aux LLM API.
- Valider les sorties structurées, y compris les schémas JSON, les spécifications OpenAPI et les charges utiles d'appel de fonction, pour garantir que les agents interagissent de manière fiable avec les systèmes externes.
- Évaluer et améliorer les performances des agents sous charge, en tenant compte des temps de réponse variables et du comportement non déterministe des points d'extrémité.
- Concevoir et posséder indépendamment l'architecture d'évaluation, en établissant les meilleures pratiques, les normes de test et les processus évolutifs pour l'assurance qualité continue.
Exigences
- Solide maîtrise de Python ou TypeScript, en particulier pour les tests API, l'exécution sans tête, la programmation asynchrone et les systèmes de test automatisés.
- Expérience pratique dans la construction de pipelines d'évaluation LLM, de frameworks de test IA ou de systèmes de test statistique capables de mesurer les performances sur des exécutions répétées.
- Expérience dans l'intégration de tests automatisés dans des environnements CI/CD, en particulier les Actions GitHub ou des plateformes similaires, avec une exécution au niveau SDK.
- Solide expertise dans la validation des données et des sorties structurées, y compris les schémas JSON, les spécifications OpenAPI et les charges utiles d'appel de fonction.
- Familiarité avec les outils d'observabilité et de traçage tels que OpenTelemetry, LangSmith, Arize Phoenix, W&B Weave, ou des solutions de journalisation personnalisées.
- Capacité à concevoir, implémenter et maintenir indépendamment une architecture d'évaluation à partir de zéro, avec un fort sens de la responsabilité et du jugement technique.
- Excellente maîtrise de l'anglais écrit et parlé, avec la capacité de communiquer clairement les résultats techniques dans une équipe distribuée.
- Disponibilité pour travailler pendant au moins trois heures par jour pendant les heures d'affaires de l'heure centrale des États-Unis.
- Expérience avec des environnements d'exécution de code isolés ou des frameworks d'agents IA tels que LangChain, LlamaIndex, AutoGen ou CrewAI.
- Solide compréhension des modèles d'intégration, des bases de données vectorielles et de leurs applications dans l'évaluation IA et les tests basés sur la similarité.
- Expérience dans les tests de charge de points d'extrémité non déterministes et l'évaluation du comportement du système sous différentes charges de travail.
- Une approche proactive et analytique de la résolution de problèmes, avec la capacité de travailler de manière autonome, de s'adapter aux technologies en évolution et d'améliorer continuellement les méthodologies de test.
Avantages
- Travail entièrement à distance : Travaillez depuis n'importe où avec une connexion Internet fiable, avec la flexibilité de choisir votre fuseau horaire et vos heures de travail préférés.
- Horaire flexible : Organisez votre journée de travail en fonction de votre productivité tout en maintenant le chevauchement requis avec l'heure centrale des États-Unis.
- Développement professionnel : Accédez à des formations rémunérées et à d'autres opportunités pour élargir votre expertise technique et soutenir votre croissance professionnelle.
- Technologie moderne : Travaillez avec des outils, des frameworks et des pratiques d'ingénierie IA contemporains dans un environnement qui valorise l'innovation et l'amélioration continue.
- Opportunités de projets cohérentes : Bénéficiez d'un flux constant de travaux de développement de produits stimulants et engageants.
- Reconnaissance de la performance : Une solide performance et un dévouement peuvent être récompensés par des augmentations de salaire annuelles.
- Rémunération négociable : Votre taux horaire de départ sera déterminé en fonction de vos compétences, de votre expérience et de vos qualifications.
- Contrat d'entrepreneur indépendant : La rémunération est basée sur les heures travaillées, avec des paiements mensuels par virement bancaire.
- Environnement de travail flexible : Profitez de l'autonomie pour travailler dans un cadre qui soutient votre concentration, votre indépendance et votre développement professionnel.
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil