Brésil
Pentera
3M
Principal Data Engineering
À distanceBrésil
Sumaré, São Paulo, Brazil
PythonSQLAWSDockerKubernetes
Traduction automatique. Consultez l’original.
Description du poste
3M a une réputation de longue date en tant qu'entreprise engagée dans l'innovation.
Nous offrons la liberté d'explorer et encourageons la curiosité et la créativité.
Nous tirons de nouvelles perspectives d'une pensée diversifiée et prenons des risques sur de nouvelles idées.
Ici, vous pouvez appliquer votre talent de manière audacieuse et significative.
PRINCIPAL DATA ENGINEERING - 3M SUMARÉ
COLLABOREZ AVEC DES 3ATEURS INNOVANTS DU MONDE ENTIER
Choisir où commencer et développer votre carrière a un impact majeur sur votre vie professionnelle et personnelle, il est donc tout aussi important que vous sachiez que l'entreprise que vous choisissez de rejoindre, et ses dirigeants, vous soutiendront et vous guideront.
Avec une diversité de personnes, de lieux, de technologies et de produits, 3M est un endroit où vous pouvez collaborer avec 60,000 autres 3ateurs curieux et créatifs.
L'impact que vous aurez dans ce rôle
3M recherche un Principal Data Engineering pour rejoindre les Plateformes Numériques de Recherche d'Entreprise (CRDP) afin de développer des Systèmes et Solutions de Données évolutifs. En tant que membre d'une équipe agile, vous habiliterez des applications dans divers marchés, notamment l'énergie, la fabrication, la sécurité personnelle, le transport, l'électronique et les biens de consommation. Vous aurez l'opportunité de concevoir et de prendre en charge un Enterprise Data Mesh pour autonomiser l'informatique et les technologies numériques pour les utilisateurs du monde entier :
Apprenez-en davantage sur les solutions créatives de 3M aux problèmes du monde sur 3M.com ou sur Instagram, Facebook et LinkedIn @3M.
- Architecturer, concevoir et construire des opérations de données évolutives, efficaces et tolérantes aux pannes.
- Collaborer avec la haute direction, les analystes, les ingénieurs et les scientifiques pour mettre en œuvre de nouveaux nœuds de domaine de mesh et des initiatives de données.
- Piloter l'architecture technique pour des conceptions de solutions accélérées, y compris l'intégration de données, la modélisation, la gouvernance et les applications.
- Explorer et recommander de nouveaux outils et technologies pour optimiser la plateforme de données.
- Améliorer et mettre en œuvre les meilleures pratiques en ingénierie des données et en ingénierie analytique.
- Collaborer avec les équipes d'ingénierie des données et des nœuds de domaine pour concevoir des modèles de données physiques et des mappages.
- Travailler avec des scientifiques et des informaticiens pour développer des solutions numériques avancées et promouvoir la transformation et les technologies numériques.
- Effectuer des revues de code, gérer les améliorations de performance du code et appliquer les normes de maintenabilité du code.
- Développer et maintenir des pipelines de données évolutifs pour l'ingestion, la transformation et la distribution de flux de données.
- Conseiller et encadrer les entreprises 3M, les scientifiques de données et les consommateurs de données sur les normes de données, le développement de pipelines et la consommation de données.
- Fournir des conseils techniques et du mentorat, assurer le respect des meilleures pratiques et maintenir une haute qualité logicielle grâce à des tests rigoureux et des revues de code.
- Guider la planification et l'exécution des projets, gérer les délais et les ressources, et faciliter une communication efficace entre les membres de l'équipe et les parties prenantes.
- Favoriser un environnement d'équipe positif, aider au recrutement et offrir des opportunités de formation pour combler les lacunes en matière de compétences.
Vos compétences et votre expertise
Pour vous préparer au succès dans ce rôle dès le premier jour, 3M exige (au minimum) les qualifications suivantes :
- Diplôme de licence ou supérieur en informatique, ou formation/expérience équivalente.
- Expérience solide et professionnelle en gestion de données, gouvernance de données et conception et développement de data warehouse/Lakehouse avec une maîtrise des systèmes de gestion de données SQL et NoSQL.
- Maîtrise du développement/architecture d'architecture cloud distribuée moderne et de charges de travail (AWS, Databricks).
- Vaste expérience et maîtrise de Python, Apache Spark, PySpark et Data Warehouse/Lakehouse (de préférence Databricks).
- Doit avoir une expérience pratique de Python pour extraire des données des APIs, construire des pipelines de données.
- Expérience exceptionnelle en ingénierie des données, systèmes de données et gouvernance des données, et aisance à travailler avec des données structurées et non structurées et des analyses.
- Anglais avancé.
Les qualifications supplémentaires qui pourraient vous aider à réussir encore davantage dans ce rôle incluent :
- Familiarité avec les principes de conception d'architecture de type data mesh.
- Maîtrise de la construction de pipelines de données pour intégrer les applications et procédures commerciales.
- Bonne compréhension préférée des concepts avancés de Databricks tels que Delta Lake, MLFlow, Fonctionnalités de Notebook avancées, Bibliothèques et Workflows personnalisés, Catalogue Unity, etc.
- Expérience avec les services et l'infrastructure de cloud computing AWS développant des data lakes et des pipelines de données en utilisant plusieurs technologies telles que AWS S3, AWS Glue, Elastic MapReduce, etc. et une conscience des considérations pour la construction de systèmes informatiques distribués et évolutifs sur Spark.
- Expérience avec les systèmes de traitement de flux : Amazon Kinesis, Spark, Storm, Kafka, etc.
- Expérience pratique avec les bases de données relationnelles SQL et NoSQL.
- Expérience des principes de qualité et de validation des données, principes de sécurité, chiffrement des données, contrôle d'accès, authentification et autorisation.
- Expérience approfondie dans la définition et la mise en œuvre de l'ingénierie des caractéristiques (feature engineering).
- Expérience avec les conteneurs Docker et Kubernetes, expérience dans le développement ou l'interaction avec des APIs.
- Expérience dans l'utilisation de flux de travail d'orchestration de données à l'aide d'outils open-source comme Temporal.io, Apache Airflow est un plus.
- Connaissance des outils de visualisation de données comme Dash Apps, Tableau, Power BI, etc.
- Bonne expérience des processus et concepts de développement agile en utilisant des outils de gestion de projet comme JIRA et Confluence.
- Concevoir et mettre en œuvre des meilleures pratiques d'ingénierie des données au sein des équipes, optimiser et refondre les solutions d'ingénierie des données existantes pour améliorer l'efficacité ou la stabilité, ainsi que surveiller et consulter les équipes de nœuds de domaine.
- Excellentes compétences interpersonnelles, collaboratives, de création d'équipe et de communication pour assurer des collaborations efficaces avec des équipes matricielles.
Local de travail
Ce poste suit un modèle de travail sur site, demandant à l'employé de travailler au moins quatre jours par semaine au siège de 3M à Sumaré.
Discutez avec Max
Pour obtenir de l'aide dans la recherche de nos offres d'emploi actuelles ou pour plus d'informations sur tout ce qui concerne 3M, visitez Max, notre assistant virtuel de recrutement sur 3M.com/careers.
3M est un employeur qui offre des chances égales à tous. 3M ne discriminera aucun candidat en raison de sa race, de sa couleur, de son âge, de sa religion, de son sexe, de son orientation sexuelle, de son identité ou expression de genre, de sa nationalité ou de son handicap.
La sécurité est une valeur fondamentale chez 3M. Tous les employés sont censés contribuer à une solide culture de santé, de sécurité et d'environnement (SSE) en suivant les politiques de sécurité, en identifiant les dangers et en s'engageant dans une amélioration continue.
Conditions d'utilisation et déclaration de confidentialité globales de 3M
Lisez attentivement ces conditions d'utilisation avant d'utiliser ce site Web. Votre accès et votre utilisation de ce site Web et de cette application pour un emploi chez 3M sont conditionnés à votre acceptation et à votre conformité à ces conditions.
Veuillez cliquer sur les liens suivants et sélectionner le pays où vous postulez pour consulter les conditions d'utilisation applicables (lien ici)
multimedia.3m.com/mws/media/2653553O/3m-website-terms-of-use-global.pdf
et la politique de confidentialité (lien ici)
multimedia.3m.com/mws/media/1259100O/3m-jobs-country-data-privacy-statements-internal.pdf.
Avant de soumettre votre candidature, il vous sera demandé de confirmer votre accord avec les conditions.
Soutenir votre bien-être
3M propose de nombreux programmes pour que vous viviez le meilleur de votre vie, tant sur le plan physique que financier. Pour garantir une rémunération et des avantages sociaux compétitifs, 3M effectue régulièrement des analyses comparatives avec d'autres entreprises de taille similaire.
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil