Detalhes Primários

Tipo de Tempo: Tempo integral

Tipo de Trabalhador: Funcionário

O propósito deste papel é impulsionar a entrega eficiente de artefatos de construção e fornecer liderança técnica no design, desenvolvimento e implantação das plataformas da QBE.

• Liderar o design, desenvolvimento e otimização de pipelines de dados e fluxos de trabalho dentro do Azure Databricks usando Python.
• Colaborar com a equipe da plataforma para garantir o alinhamento adequado de recursos, protocolos de segurança e escalabilidade para o ambiente Databricks.
• Arquitetar, implementar e manter pipelines ETL otimizados, garantindo que sejam confiáveis, escaláveis e eficientes.
• Trabalhar próximo aos stakeholders para entender os requisitos de negócios e projetar soluções de dados que atendam suas necessidades.
• Fornecer liderança técnica para engenheiros de dados juniores, orientando-os nas melhores práticas para design de pipeline de dados, processamento de dados e otimização do Databricks.
• Coordenar com a equipe da plataforma para garantir a disponibilidade, confiabilidade e desempenho da infraestrutura subjacente.
• Liderar esforços de solução de problemas relacionados ao processamento de dados e falhas de pipeline, garantindo o mínimo de tempo de inatividade.
• Monitorar o desempenho dos pipelines de dados e implementar estratégias de otimização para melhorar os tempos de processamento, reduzir custos e aumentar a eficiência geral da plataforma.
• Colaborar com arquitetos e engenheiros de dados para desenvolver modelos de dados que possam ser integrados perfeitamente com o Databricks.
• Manter conhecimento atualizado sobre as melhores práticas e tecnologias emergentes em engenharia de dados, especialmente dentro do ecossistema Azure.

Requisitos:

• Mais de 5 anos de experiência em engenharia de dados com foco na construção e otimização de pipelines de dados.
• Forte experiência com Azure Databricks e capacidade de liderar e otimizar fluxos de trabalho complexos neste ambiente.
• Proficiência em Python para processamento de dados, desenvolvimento de pipeline e automação.
• Experiência com Azure Data Lake, Azure SQL e outras soluções de armazenamento e processamento de dados dentro do Azure.
• Profundo entendimento dos processos ETL, incluindo design de pipeline, automação e solução de problemas.
• Experiência prática com Databricks Delta Lake, Apache Spark e otimização de desempenho no Databricks.
• Familiaridade com infraestrutura em nuvem (Azure), incluindo networking, armazenamento e considerações de segurança.
• Capacidade de colaborar e comunicar efetivamente com equipes multifuncionais, incluindo equipes de plataforma, para garantir alinhamento e entrega bem-sucedida.
• Fortes habilidades de resolução de problemas e solução de problemas, particularmente relacionadas ao desempenho e falhas de pipeline de dados.
• Excelentes habilidades de comunicação e liderança, com a capacidade de orientar e guiar engenheiros juniores.

Qualificações Preferenciais:

• Experiência com práticas de DevOps e pipelines CI/CD para fluxos de trabalho de engenharia de dados.
• Familiaridade com Azure Synapse Analytics, Azure Data Factory e outros serviços de dados baseados no Azure.
• Experiência trabalhando em um ambiente Ágil com familiaridade com ferramentas de gerenciamento de projetos.

Habilidades:

Comunicação,Pensamento Crítico,Atendimento ao Cliente,Sistemas Financeiros,colaboração intencional,Gestão de desempenho,Melhorias de Processo,Sistema de Gerenciamento de Banco de Dados Relacional (RDBMS),Gestão de Risco,Desenvolvimento de Software,Métodos do Ciclo de Vida do Desenvolvimento de Software (SDLC),Gestão de Stakeholders,Liderança Estratégica,Gestão de Equipes,Modelo Waterfall

Como se Candidatar:

Para enviar sua candidatura, clique em "Aplicar" e siga o processo passo a passo.

Oportunidade de Emprego Igualitária:

A QBE é um empregador que oferece igualdade de oportunidades e é obrigatória a conformidade com a legislação de igualdade de oportunidades de emprego em cada jurisdição em que opera.

Por favor, consulte a descrição do trabalho.