México
Cummins
Amazon
Sr Data Engineer - Music DISCO, Music DISCO
México
Ciudad de México, Mexico
PythonJavaSQLAWS
Tradução automática. Consulte o original.
Sobre a oportunidade
A Amazon Music está repleta de dados! Para ajudar a dar sentido a tudo isso, a equipe DISCO (Data, Insights, Science & Optimization) faz o seguinte: (i) capacita a organização de Tecnologia de Produtos ao Consumidor a tomar decisões baseadas em dados que melhoram a retenção, o engajamento e a experiência do cliente na Amazon Music. Construímos e mantemos soluções automatizadas de autoatendimento de dados, modelos de ciência de dados e investigações aprofundadas de questões complexas que fornecem insights acionáveis. Também possibilitamos a medição, personalização e experimentação operando programas de dados chave, desde pipelines de atribuição, métricas northstar weblabs até frameworks causais. (ii) entrega infraestrutura excepcional de Analytics & Science para as equipes DISCO, promovendo uma abordagem orientada a dados para insights e tomada de decisão. Como construtores de plataforma, estamos comprometidos em construir soluções flexíveis, confiáveis e escaláveis para capacitar nossos clientes. (iii) acelera e facilita a análise de conteúdo e fornece independência para gerar insights valiosos de forma rápida, ágil e precisa.
Este domínio fornece suporte analítico para a organização de Tecnologia de Produtos ao Consumidor tomar decisões baseadas em dados ao lançar novos recursos e avaliar recursos existentes, com o objetivo final de melhorar a experiência do cliente.
A equipe DISCO possibilita análises repetíveis, fáceis e aprofundadas do comportamento do cliente de música. Reduzimos o custo em tempo e esforço de análise, construção de conjuntos de dados, construção de modelos e segmentação de usuários. Nosso objetivo é capacitar todas as equipes da Amazon Music a tomar decisões baseadas em dados e medir efetivamente seus resultados, fornecendo dados de alta qualidade e alta disponibilidade, e acesso democratizado a dados por meio de ferramentas de autoatendimento.
Se você adora os desafios que vêm com big data, então esta função é para você. Coletamos bilhões de eventos por dia, gerenciamos petabytes de dados em Redshift e S3, e desenvolvemos pipelines de dados usando Spark/Scala EMR, ETL baseado em SQL, serviços Airflow.
Estamos procurando um(a) Engenheiro(a) de Dados talentoso(a), entusiasmado(a) e detalhista, que saiba como enfrentar desafios de big data de forma ágil.
A equipe DISCO desenvolve dados especificamente para um conjunto de domínios de negócios chave, como personalização e marketing, e fornece e protege uma experiência central de dados robusta de autoatendimento para todos os clientes internos. Lidamos com tecnologias AWS como Redshift, S3, EMR, EC2, DynamoDB, Kinesis Firehose e Lambda. Sua equipe gerenciará o Data Lake e a camada de processamento EMR/Spark usando Airflow como orquestrador. Você construirá nossa universidade de dados e fará parceria com as equipes de Produto, Marketing, BI e ML para construir novos eventos comportamentais, pipelines, conjuntos de dados, modelos e relatórios para apoiar suas iniciativas. Você também continuará a desenvolver pipelines de big data.
Principais responsabilidades do cargo
As responsabilidades incluem design e análise de big data, modelagem de dados e desenvolvimento, implantação e operação de pipelines de big data. Você ajudará a construir os pipelines e conjuntos de dados de big data mais importantes da Amazon Music e expandirá o conhecimento e as capacidades de dados de autoatendimento por meio de uma universidade de dados da Amazon Music.
Você trabalhará com Gerentes de Produto, Cientistas de Dados e outros Engenheiros de Dados para ajudar a projetar, desenvolver e entregar plataformas de análise de dados escaláveis e soluções de pipeline de dados para apoiar várias iniciativas de Ciência e ML na escala e velocidade da Amazon Music. Além disso, você ajudará a projetar, desenvolver e entregar componentes para a plataforma de análise em nível de organização mais amplo e a otimizar/automatizar fluxos de trabalho para a organização DISCO em geral. Você atuará como líder para Engenheiros de Dados na equipe DISCO MPT.
Um dia na vida
- Colaborar com equipes multifuncionais, incluindo cientistas de dados, engenheiros de business intelligence, para projetar e arquitetar uma plataforma moderna de análise de dados na AWS, utilizando o AWS Cloud Development Kit (CDK).
- Desenvolver pipelines de dados robustos e escaláveis usando SQL/PySpark/Airflow para ingerir, processar e transformar eficientemente grandes volumes de dados de várias fontes em um formato estruturado, garantindo a qualidade e integridade dos dados.
- Projetar e implementar uma solução de data warehousing eficiente e escalável na AWS, utilizando tecnologias apropriadas de armazenamento e banco de dados NoSQL/SQL para dados estruturados e não estruturados.
- Automatizar processos ETL/ELT para otimizar a integração de dados de diversas fontes e garantir a confiabilidade e eficiência da plataforma.
- Criar modelos de dados para suportar business intelligence, fornecendo insights acionáveis e relatórios interativos para os usuários finais.
- Habilitar análises avançadas e capacidades de machine learning dentro da plataforma para derivar insights preditivos e prescritivos dos dados por meio de ferramentas como EMR/SageMaker Notebooks.
- Monitorar e otimizar continuamente o desempenho de pipelines de dados, bancos de dados e aplicações, garantindo acesso a dados de baixa latência para tarefas de análise e machine learning.
- Implementar medidas de segurança robustas e garantir a conformidade dos dados com os requisitos internos, padrões da indústria e regulamentações para proteger informações confidenciais.
- Trabalhar em estreita colaboração com cientistas de dados e engenheiros de business intelligence para entender seus requisitos e colaborar em projetos relacionados a dados.
- Criar documentação técnica abrangente para a arquitetura da plataforma, modelos de dados e APIs para facilitar o compartilhamento de conhecimento e a manutenibilidade.
Sobre a equipe
A Amazon Music é um serviço imersivo de entretenimento de áudio que aprofunda as conexões entre fãs, artistas e criadores. De playlists de música personalizadas a podcasts exclusivos, transmissões ao vivo de shows a produtos de artistas, a Amazon Music está inovando em algumas das interseções mais emocionantes de música e cultura. Oferecemos experiências que atendem a todos os ouvintes com nossos diferentes níveis de serviço: membros Prime têm acesso a toda a música em modo aleatório e podcasts principais sem anúncios, incluídos em sua assinatura; os clientes podem fazer upgrade para a Amazon Music Unlimited para acesso ilimitado e sob demanda a 100 milhões de músicas, incluindo milhões em áudio HD, Ultra HD e espacial; e qualquer pessoa pode ouvir gratuitamente baixando o aplicativo Amazon Music ou por meio de dispositivos habilitados para Alexa. Junte-se a nós para ter a oportunidade de influenciar como a Amazon Music engaja fãs, artistas e criadores em escala global.
Requisitos mínimos
Qualificações Básicas
- 5+ anos de experiência em engenharia de dados
- Experiência com modelagem de dados, data warehousing e construção de pipelines ETL
- Experiência com SQL
- Experiência em pelo menos uma linguagem de script ou programação moderna, como Python, Java, Scala ou NodeJS
- Experiência em mentorar membros da equipe sobre melhores práticas
Qualificações Preferenciais
- Experiência com tecnologias de big data como: Hadoop, Hive, Spark, EMR
- Experiência operando grandes data warehouses
Nossa cultura inclusiva capacita os Amazonianos a entregar os melhores resultados para nossos clientes. Se você tem uma deficiência e precisa de acomodação ou ajuste no local de trabalho durante o processo de inscrição e contratação, incluindo suporte para o processo de entrevista ou integração, visite amazon.jobs/content/en/how-we-hire/accommodations para mais informações. Se o país/região para o qual você está se candidatando não estiver listado, entre em contato com seu Parceiro de Recrutamento.
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil
