Ingénieur Data Lake

États-Unis

Doral, Florida, United States

PythonSQLAWSGCPTerraform

Traduction automatique. Consultez l’original.

Entreprise

Fondée en 1989, SOSi figure parmi les plus grands intégrateurs privés de technologies et de services, détenus par leurs fondateurs, dans le secteur de la défense et des services gouvernementaux. Nous fournissons des solutions sur mesure, une expertise éprouvée et des résultats fiables pour soutenir les missions de sécurité nationale.

Description du poste

SOSi recherche un ingénieur Data Lake pour répondre aux besoins opérationnels liés au développement, à l'intégration et au maintien d'un écosystème de données fédéré et évolutif. Ce projet vise à améliorer l'interopérabilité, la gouvernance et les capacités d'analyse axées sur la mission pour un client du DoD. L'objectif principal est de combler les lacunes opérationnelles entre le DoD, l'IC, les agences intergouvernementales et les partenaires internationaux non traditionnels afin de permettre un partage d'informations en temps réel, une intégration dynamique des données et des capacités analytiques adaptées aux missions.

Responsabilités essentielles

Le prestataire devra concevoir, mettre en œuvre et maintenir des architectures Data Lake évolutives pour prendre en charge l'ingestion de données structurées et non structurées, garantissant un accès et une récupération efficaces des données.

Le prestataire devra configurer et gérer l'interface d'intégration entre le Data Lake et la plateforme de graphes de connaissances (Stardog), incluant l'accès aux points de terminaison SPARQL, la fédération des métadonnées et l'alignement du catalogue.

Le prestataire devra respecter les politiques de contrôle d'accès et le périmètre d'utilisation définis par le gouvernement et les ordres de mission coordonnés.

Le prestataire devra confirmer la conformité aux politiques d'accès sur une base trimestrielle et documenter les résultats dans le rapport de gouvernance et de conformité des données.

Le prestataire devra optimiser les pipelines ETL pour la transformation de gros volumes de données, en assurant la conformité avec les normes de sécurité DoD IL-4/IL-5.

Le prestataire devra mettre en œuvre des stratégies de hiérarchisation du stockage et des contrôles d'accès, en veillant à ce que les données soient correctement classées, conservées et consultées conformément aux exigences de gouvernance du DoD.

Le prestataire devra soumettre le rapport de performance et d'optimisation du Data Lake, détaillant l'efficacité de l'ingestion, les améliorations du contrôle d'accès et les mesures d'utilisation du stockage.

Qualifications

Habilitation TS/SCI active. Master ou diplôme supérieur (ex. : doctorat) en informatique, technologies de l'information, ingénierie des systèmes, science des données, administration des affaires, gestion de l'ingénierie ou dans un domaine étroitement lié, ou un minimum de onze (11) années d'expérience dans la gestion de projets techniques complexes en architecture de données d'entreprise, administration Databricks et plateformes de données basées sur le cloud.

Connaissance et capacité à soutenir l'administration de plateformes Data Lake et l'architecture de données d'entreprise pour les projets du DoD axés sur les données.

Compétences en administration de plateformes Data Lake, incluant la gestion et la configuration d'espaces de travail, l'optimisation de clusters et le réglage des performances, l'intégration cloud et l'intégration du catalogue Unity pour une gouvernance sécurisée des données.

Maîtrise du développement de pipelines ETL/ELT, de l'architecture et de l'optimisation de Delta Lake, de l'intégration de flux de travail IA/ML et de l'optimisation de Data Lakehouse pour les analyses du DoD et les flux de données critiques pour la mission.

Expérience en SysEngOps, DevSecOps, systèmes de contrôle de version (Git) et pipelines CI/CD pour rationaliser le développement et le déploiement du Data Lake.

Connaissance de la gestion des identités et des accès (IAM), du contrôle d'accès basé sur les rôles (RBAC) et des meilleures pratiques de sécurité cloud sur AWS, Azure et GCP.

Expertise pratique en Python, SQL/NoSQL, Apache Spark, Databricks SQL, Terraform et services de données natifs du cloud pour le traitement et l'analyse de données à grande échelle.

Exigence d'habilitation : Top Secret/SCI

Informations complémentaires

Environnement de travail : Conditions de bureau normales.

SOSiAll Les personnes intéressées seront prises en considération et ne feront l'objet d'aucune discrimination pour quelque motif que ce soit.

Rémunération : USD 67351 - USD 139882 - par an

Langues

Ingénieur Data Lake

Entreprise

Description du poste

Responsabilités essentielles

Qualifications

Informations complémentaires

Ton prochain jobest déjà à ta recherche.

Plus d’opportunités avec un seul profil

Continuer à explorer

Administrateur de Service Desk

Consultant Technique ServiceNow HR Managed Services

Technicien de support informatique