B&A
Databricks
Engenheiro de Software Staff, AI Runtime
Transparência da Faixa Salarial
P-1930
A Databricks está comprometida com práticas de remuneração justas e equitativas. A(s) faixa(s) salarial(is) para esta função está(ão) listada(s) abaixo e representa(m) a faixa salarial esperada para funções não comissionadas ou ganhos alvo para funções comissionadas. Os pacotes de remuneração reais baseiam-se em vários fatores exclusivos de cada candidato, incluindo, mas não se limitando a, habilidades relacionadas ao trabalho, profundidade de experiência, certificações e treinamentos relevantes e local de trabalho específico. Com base nos fatores acima, a Databricks prevê a utilização de toda a amplitude da faixa. O pacote de remuneração total para esta posição também pode incluir elegibilidade para bônus anual de desempenho, participação acionária e os benefícios listados acima. Para obter mais informações sobre em qual faixa sua localização se encontra, visite nossa página aqui databricks.com/sites/default/files/2024-08/us-pay-zone-mapping.pdf.
Faixa Salarial Local
$190,000—$265,000 USD
Nosso Compromisso com a Diversidade e Inclusão
Na Databricks, estamos comprometidos em promover uma cultura diversa e inclusiva onde todos possam se destacar. Tomamos muito cuidado para garantir que nossas práticas de contratação sejam inclusivas e atendam aos padrões de igualdade de oportunidades de emprego. Indivíduos que buscam emprego na Databricks são considerados sem distinção de idade, cor, deficiência, etnia, estado civil ou familiar, identidade ou expressão de gênero, idioma, origem nacional, capacidade física e mental, afiliação política, raça, religião, orientação sexual, status socioeconômico, status de veterano e outras características protegidas.
Conformidade
Se o acesso a tecnologia ou código-fonte controlado para exportação for necessário para o desempenho das funções do cargo, fica a critério do Empregador solicitar ou não uma licença do governo dos EUA para tais cargos, e o Empregador pode optar por não prosseguir com um candidato apenas com base nisso.
Na Databricks, operamos a maior plataforma de IA do mundo. Acreditamos que os próximos avanços virão de modelos treinados com dados corporativos específicos de domínio, e não apenas de modelos generalistas maiores.
É por isso que criamos o AI Runtime databricks.com/product/ai-runtime, um produto serverless que torna o treinamento em GPU de qualquer escala simples, para que as empresas possam treinar seus próprios modelos da mesma forma que os laboratórios de fronteira. Clientes de diversos setores treinam nele, ao lado dos dados corporativos que já estão na Databricks. Entre eles estão a Rivian no setor automotivo, a Robinhood em fintech e a Merck, que constrói modelos de base para descoberta de medicamentos. Nossos próprios pesquisadores de IA o utilizam para pós-treinar modelos com centenas de bilhões a quase um trilhão de parâmetros.
É necessário muito trabalho de engenharia para fazer isso funcionar, e escrevemos sobre isso em nosso blog: como mantemos as GPUs confiáveis databricks.com/blog/how-we-keep-gpus-reliable-across-databricks-ai, tornamos o treinamento tolerante a falhas databricks.com/blog/fast-fault-tolerant-pytorch-training-ai-runtime e aceleramos o fine-tuning databricks.com/blog/reducing-qwen-training-time-6x-ai-runtime com kernels fundidos e empacotamento inteligente de sequências. Agentes de IA agora também iniciam experimentos e, em nossa equipe de pesquisa, eles já aumentaram os trabalhos de treinamento em 8x databricks.com/blog/how-our-ai-research-team-uses-ai-runtime.
Como Engenheiro de Software Staff, você trabalhará nos sistemas por trás de tudo isso, resolvendo problemas técnicos complexos e moldando partes importantes do AI Runtime.
O impacto que você terá
- Liderar partes importantes da arquitetura do AI Runtime e ajudar a moldar a direção técnica de longo prazo da Databricks em infraestrutura de treinamento de IA.
- Projetar os sistemas de confiabilidade e observabilidade para uma frota que continua crescendo em escala e complexidade.
- Liderar melhorias na experiência do desenvolvedor no AI Runtime para pessoas e agentes, para que até mesmo os maiores trabalhos de treinamento pareçam tão simples quanto um primeiro experimento.
- Ajudar a escolher as apostas técnicas que preparam o AI Runtime para novas gerações de GPU e tipos de carga de trabalho.
- Assumir pessoalmente os problemas mais difíceis de treinamento multi-nó, desde orquestração e agendamento de GPU até carregamento de dados e checkpointing.
- Tornar o treinamento mais rápido e barato, aumentando a eficiência em arquiteturas de modelos e aceleradores de GPU.
- Trabalhar com pesquisa, produto e clientes para moldar o que construiremos a seguir e liderar projetos entre equipes.
- Defender a excelência em engenharia, elevar o nível e orientar os engenheiros ao seu redor.
O que buscamos
- 10+ anos em sistemas distribuídos de grande escala, com profundidade significativa em treinamento de GPU, computação de alto desempenho ou sistemas de ML.
- Experiência prática no treinamento de grandes modelos com FSDP, DeepSpeed ou Megatron, e fluência em estratégias de paralelismo.
- Especialização em desempenho de GPU, incluindo arquitetura de aceleradores, interconexões de alta velocidade e kernels.
- Forte compreensão de padrões de resiliência de treinamento, como checkpointing, detecção de falhas e recuperação automática.
- Experiência na construção e operação de plataformas de nuvem multi-tenant como produtos.
- Histórico de liderança de projetos técnicos entre equipes e acompanhamento até o impacto no cliente.
- Clareza para levar as equipes a um acordo sobre projetos técnicos e uma reputação como mentor que outros engenheiros procuram.
- Bacharelado em Ciência da Computação ou área relacionada (Mestrado ou Doutorado preferencial).
Sobre a Databricks
A Databricks é a empresa de Dados e IA. Mais de 20,000 organizações em todo o mundo — incluindo adidas, AT&T, Bayer, Block, Mastercard, Rivian, Unilever e 70% da Fortune 500 — confiam na Plataforma de Dados + IA da Databricks para construir e escalar aplicativos, análises e agentes de dados e IA. Com sede em São Francisco e mais de 30 escritórios ao redor do mundo, a Databricks oferece uma plataforma unificada que inclui Genie, Lakebase, Agent Bricks, Lakeflow, Lakehouse e Unity Catalog. Para saber mais, siga a Databricks no LinkedIn linkedin.com/company/databricks, X x.com/databricks, YouTube youtube.com/@Databricks e Instagram instagram.com/databricksinc/?hl=en.
Benefícios
Na Databricks, nos esforçamos para oferecer benefícios e vantagens abrangentes que atendam às necessidades de todos os nossos funcionários. Para detalhes específicos sobre os benefícios oferecidos em sua região, clique aqui docs.google.com/document/d/154un3e8Xav4BceOSlcYFZRGEuQI54xMxVydRwQn54eQ/edit?usp=sharing.
