Kanada
Meridian OneCap Credit Corp.
Precision AI
Senior Data Engineer
Kanada
Calgary, Alberta, Canada
PythonSQLAWSKubernetesTerraform
Automatische Übersetzung. Prüfe das Original.
ÜBER DIE ROLLE
Dies ist die erste dedizierte Data-Engineering-Rolle bei Precision AI. Unser KI-Team trainiert Computer-Vision-Modelle auf mehreren hundert Terabyte an Drohnenbildern und Flugtelemetriedaten, die über reale Wachstumsperioden gesammelt wurden. Dieses Archiv befindet sich in S3 als Parquet und Bilder, abgefragt mit Athena. Jeder Trainingslauf hängt von tribalem Wissen darüber ab, welche Präfixe welche Saison enthalten.
Sie werden die Plattform bauen, die dieses Problem löst. Sie sind dafür verantwortlich, wie Felddaten vom Flugzeug in ein verwaltetes, abfragbares, reproduzierbares Asset gelangen, aus dem unsere ML- Ingenieure vertrauensvoll Trainingsdatensätze ziehen können und auf das das Unternehmen schliesslich berichten kann.
Dies ist eine hands-on Senior Individual Contributor Rolle, die dem KI-Teamleiter unterstellt ist. Sie werden keine Leute führen. Sie werden die technische Richtung für Daten bei Precision AI vorgeben und daran gemessen, ob das KI-Team dadurch schneller vorankommt.
Diese hybride Rolle hat ihren Sitz in Calgary und wird 3 Tage pro Woche im Hauptsitz von Precision AI arbeiten.
HAUPTVERANTWORTLICHKEITEN
Datenplattform-Architektur
- Entwerfen Sie die Lakehouse-Schicht über unserem bestehenden S3 und Parquet-Bestand, einschliesslich der Auswahl des Tabellenformats (Iceberg oder Delta), der Partitionierungsstrategie, der Schemaentwicklung und eines durchsuchbaren Katalogs.
- Entscheiden Sie, was als Rohbild erhalten bleibt und was zu einer verwalteten Tabelle wird, und dokumentieren Sie die Gründe dafür.
Pipeline-Engineering und Orchestrierung
- Richten Sie die Orchestrierung von Grund auf neu ein.
- Bewerten und wählen Sie die Werkzeuge aus (Airflow, Dagster, Prefect oder Äquivalent), bauen Sie dann Batch-Pipelines, die idempotent, rückfüllbar und beobachtbar sind.
Field-to-Cloud-Ingestion
- Bauen Sie eine zuverlässige Ingestion für Drohnenbilder und Telemetrie, die im Feld erfasst werden, oft bei schlechter Konnektivität.
- Führen Sie Validierung, Deduplizierung und Integritätsprüfungen nahe der Erfassung durch.
ML-Datenermöglichung
- Arbeiten Sie direkt mit KI-Ingenieuren zusammen, um Rohaufnahmen in kuratierte, versionierte Trainings- und Auswertungsdatensätze umzuwandeln.
- Übernehmen Sie die Verantwortung für die Datenherkunft und -versionierung, sodass jedes Modell in MLflow zwei Jahre später auf die exakten Daten zurückgeführt werden kann, die es erzeugt haben. Unterstützen Sie Annotations-Workflows und unsere Vektordatenbank.
- Wenden Sie grundlegende machine learning und Computer-Vision-Techniken an, einschliesslich Klassifizierung, Erkennung, Segmentierung, Clustering und Regression, um aussagekräftige Erkenntnisse zu gewinnen, Datensätze anzureichern und die Datenkuratierung in grossem Massstab zu unterstützen.
Datenqualität und Zuverlässigkeit
- Definieren Sie Datenverträge, automatisierte Tests sowie Überwachung von Aktualität und Anomalien.
- Übernehmen Sie die Verantwortung für die Datenherkunft von der Rohaufnahme bis zu den Datensätzen und Features, die Modelle verwenden. Legen Sie die Datenqualitätsstandards fest, nach denen das Team codiert.
- Nutzen Sie ML- und Computer-Vision-Modelle, um die Datenqualitätsbewertung und die Analyse von grossen Datensätzen zu automatisieren, einschliesslich der Schätzung der Bildqualität, der Merkmalsextraktion, der Anomalieerkennung und der Datenverteilungsanalyse.
Kosten- und Leistungsmanagement
- Verwalten Sie die S3 Speicherklassen-Lebenszyklen, Dateikompaktierung und Athena-Scan-Kosten.
- In unserem Massstab sind Entscheidungen über Speicher- und Abfrage-Layouts der primäre Kostenhebel, und wir erwarten, dass Sie dies als technisches Problem und nicht als Finanzproblem behandeln.
Analyseermöglichung
- Wenn die Plattform reift, erweitern Sie sie, um Geschäfts- und Produktanalysen zu unterstützen: eine modellierte Warehouse-Schicht, Transformationstools wie dbt und eine semantische Schicht für die Berichterstattung.
- Dies ist eine spätere Phase der Rolle, keine Aufgabe für den ersten Tag, und Sie werden helfen zu entscheiden, wann sie zur Priorität wird.
Engineering-Praxis
- Schreiben Sie produktionsreifen Python.
- Nutzen Sie Infrastructure as Code, Containerisierung, CI/CD und Versionskontrolle als Standard und nicht als nachträglichen Gedanken.
- Heben Sie die Messlatte im gesamten KI-Team durch Code-Reviews und durch die Festlegung der Data-Engineering-Standards, auf denen andere Ingenieure aufbauen.
Technische Kommunikation
- Kommunizieren Sie Designentscheidungen, Kompromisse und Fortschritte klar an Ingenieure und nicht-technische Partner.
RELEVANTE ERFAHRUNG
ERFORDERLICH
- 4+ Jahre Erfahrung im Aufbau und Betrieb von Produktionsdatenplattformen, mit klarer Verantwortung für Systeme, die Sie entworfen und nicht nur gewartet haben.
- Starkes Python, mit soliden Software-Engineering-Grundlagen: Tests, Code- Struktur, Versionskontrolle und Code-Reviews.
- Tiefgreifende praktische AWS-Erfahrung, insbesondere mit S3, Athena oder äquivalenten Abfrage-Engines, IAM und Kostenmanagement in grossem Massstab.
- Produktionserfahrung mit einem Workflow-Orchestrator (Airflow, Dagster, Prefect, Step Functions oder Ähnliches).
- Fortgeschrittenes SQL und nachweisbares Urteilsvermögen im Datenmodellierungsbereich.
- Erfahrung mit spaltenbasierten Formaten und offenen Tabellenformaten: Parquet plus Iceberg, Delta oder Hudi.
- Nachgewiesene Erfolgsbilanz im Design für Reproduzierbarkeit, einschliesslich Datenversionierung, Datenherkunft und Korrektheit von Backfills.
- Komfort, ohne eine bestehende Plattform zu haben, auf die man sich verlassen kann, und das Urteilsvermögen, zu sequenzieren, was zuerst gebaut wird.
- Solides Grundlagenwissen in machine learning und Computer Vision.
BILDUNGSVORAUSSETZUNGEN
- Bachelor- oder Master-Abschluss in Informatik, Computer Engineering, Software Engineering und Data Science.
BONUS
- Erfahrung mit Geodaten und Rasterdaten: GeoTIFF, Cloud-optimierte GeoTIFFs, GDAL, Tiling und Koordinatenreferenzsysteme.
- Erfahrung in der Unterstützung von Computer-Vision- oder ML-Teams, einschliesslich der Kuratierung von Trainingsdatensätzen, Annotations-Pipelines oder Feature Stores.
- Vertrautheit mit MLflow, DVC, LakeFS oder vergleichbaren Werkzeugen für Experimenten- und Datenversionierung.
- Erfahrung mit verteilten Verarbeitungen: Spark, Ray oder Dask.
- Erfahrung im Bereich Analytics Engineering: dbt, dimensionale Modellierung, BI-Tools.
- Infrastructure as Code: Terraform, CDK oder Pulumi.
- Kubernetes.
- Landwirtschaft, Fernerkundung, Robotik oder eine andere Domäne mit grossen, sensorbasierten Datensätzen.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen