Canada
TSMC
Precision AI
Ingénieur Données Senior
Canada
Calgary, Alberta, Canada
PythonSQLAWSKubernetesTerraform
Traduction automatique. Consultez l’original.
APERÇU DU POSTE
Ceci est le premier poste dédié à l'ingénierie des données de Precision AI. Notre équipe IA entraîne des modèles de vision par ordinateur sur plusieurs centaines de téraoctets d'imagerie de drones et de télémétrie de vol collectés au cours de plusieurs saisons de croissance. Ces archives résident dans S3 sous forme de Parquet et d'images, interrogées avec Athena. Chaque cycle d'entraînement dépend de connaissances internes sur les préfixes qui contiennent quelle saison.
Vous construirez la plateforme qui résoudra ce problème. Vous définirez comment les données de terrain passent de l'aéronef à un actif géré, interrogeable et reproductible, à partir duquel nos ingénieurs ML pourront extraire des ensembles d'entraînement en toute confiance, et sur lequel l'entreprise pourra éventuellement établir des rapports.
Il s'agit d'un poste de contributeur individuel senior pratique, relevant du responsable de l'équipe IA. Vous ne gérerez pas de personnel. Vous définirez l'orientation technique des données chez Precision AI et serez évalué sur la capacité de l'équipe IA à progresser plus rapidement grâce à cela.
Ce poste hybride est basé à Calgary et impliquera de travailler au siège de Precision AI 3 jours par semaine.
RESPONSABILITÉS CLÉS
Architecture de la Plateforme de Données
- Concevoir la couche lakehouse par-dessus notre empreinte existante de S3 et Parquet, y compris la sélection du format de table (Iceberg ou Delta), la stratégie de partitionnement, l'évolution du schéma et un catalogue consultable.
- Décider ce qui reste en tant qu'imagerie brute et ce qui devient une table gérée, et documenter les raisons.
Ingénierie et Orchestration des Pipelines
- Mettre en place l'orchestration à partir de zéro.
- Évaluer et sélectionner les outils (Airflow, Dagster, Prefect, ou équivalent), puis construire des pipelines batch idempotents, rétro-compatibles et observables.
Ingestion du Terrain vers le Cloud
- Construire une ingestion fiable pour l'imagerie et la télémétrie des drones capturées sur le terrain, souvent avec une connectivité médiocre.
- Gérer la validation, la déduplication et les contrôles d'intégrité à proximité de la capture.
Activation des Données ML
- Travailler directement avec les ingénieurs IA pour transformer les captures brutes en ensembles de données d'entraînement et d'évaluation, organisés et versionnés.
- Assurer la lignée et le versionnement des jeux de données afin que tout modèle dans MLflow puisse être retracé jusqu'aux données exactes qui l'ont produit, deux ans plus tard. Soutenir les flux de travail d'annotation et notre base de données vectorielle.
- Appliquer les techniques fondamentales de machine learning et de vision par ordinateur, y compris la classification, la détection, la segmentation, le clustering et la régression, pour extraire des informations significatives, enrichir les jeux de données et soutenir la curation des données à grande échelle.
Qualité et Fiabilité des Données
- Définir des contrats de données, des tests automatisés et une surveillance de la fraîcheur et des anomalies.
- Assurer la lignée depuis la capture brute jusqu'aux jeux de données et caractéristiques consommés par les modèles. Établir les normes de qualité des données sur lesquelles l'équipe base son code.
- Utiliser des modèles de ML et de vision par ordinateur pour automatiser l'évaluation de la qualité des données et l'analyse de jeux de données à grande échelle, y compris l'estimation de la qualité des images, l'extraction de caractéristiques, la détection d'anomalies et l'analyse de la distribution des données.
Gestion des Coûts et des Performances
- Gérer le cycle de vie des classes de stockage S3, la compaction des fichiers et les coûts de scan Athena.
- À notre échelle, les décisions relatives à la disposition du stockage et des requêtes sont le principal levier de coût, et nous attendons de vous que vous traitiez cela comme un problème d'ingénierie plutôt que de finance.
Activation de l'Analyse
- À mesure que la plateforme mûrit, l'étendre pour servir l'analyse commerciale et produit : une couche d'entrepôt modélisée, des outils de transformation tels que dbt, et une couche sémantique pour le reporting.
- C'est une phase ultérieure du rôle, pas une responsabilité du premier jour, et vous aiderez à décider quand cela deviendra la priorité.
Pratique d'Ingénierie
- Écrire du Python de qualité production.
- Utiliser l'infrastructure en tant que code, la conteneurisation, CI/CD et le contrôle de version comme défauts plutôt que comme réflexions tardives.
- Relever le niveau d'exigence de toute l'équipe IA par le biais de revues de code et en définissant les normes d'ingénierie des données sur lesquelles les autres ingénieurs s'appuieront.
Communication Technique
- Communiquer clairement les décisions de conception, les compromis et les progrès aux ingénieurs et aux partenaires non techniques.
EXPÉRIENCE PERTINENTE
REQUIS
- 4+ années de construction et d'exploitation de plateformes de données en production, avec une propriété claire des systèmes que vous avez conçus plutôt que seulement maintenus.
- Solide expérience en Python, avec des fondamentaux solides en ingénierie logicielle : tests, structure de code, contrôle de version et revue de code.
- Expérience pratique approfondie avec AWS, en particulier S3, Athena ou des moteurs de requête équivalents, IAM et la gestion des coûts à grande échelle.
- Expérience en production avec un orchestrateur de flux de travail (Airflow, Dagster, Prefect, Step Functions, ou similaire).
- Maîtrise avancée de SQL et jugement démontrable en modélisation de données.
- Expérience avec les formats colonnaires et les formats de table ouverts : Parquet plus Iceberg, Delta ou Hudi.
- Expérience avérée dans la conception pour la reproductibilité, y compris le versionnement des données, la lignée et la correction des rétro-charges.
- Confort à opérer sans plateforme existante sur laquelle s'appuyer et jugement pour séquencer ce qui est construit en premier.
- Solides connaissances fondamentales en machine learning et en vision par ordinateur.
EXIGENCES EN MATIÈRE D'ÉDUCATION
- Licence ou master en informatique, génie informatique, ingénierie logicielle et science des données.
ATOUTS
- Expérience avec les données géospatiales et raster : GeoTIFF, GeoTIFF optimisé pour le cloud, GDAL, tuilage et systèmes de référence de coordonnées.
- Expérience dans le soutien aux équipes de vision par ordinateur ou de ML, y compris la curation d'ensembles de données d'entraînement, les pipelines d'annotation ou les magasins de caractéristiques.
- Familiarité avec MLflow, DVC, LakeFS, ou des outils comparables de versionnement d'expériences et de données.
- Expérience en traitement distribué : Spark, Ray ou Dask.
- Exposition à l'ingénierie analytique : dbt, modélisation dimensionnelle, outils de BI.
- Infrastructure en tant que code : Terraform, CDK ou Pulumi.
- Kubernetes.
- Agriculture, télédétection, robotique, ou un autre domaine avec de grands ensembles de données dérivés de capteurs.
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil