Detalhes Primários

Tipo de Tempo: Tempo integral

Tipo de Trabalho: Funcionário

Principais Responsabilidades:

• Projetar, desenvolver e otimizar pipelines de dados e fluxos de trabalho dentro do Azure Databricks usando Python para processamento e automação de dados.
• Colaborar com a equipe da plataforma para garantir que a infraestrutura subjacente suporte a escalabilidade, o desempenho e os requisitos de segurança das cargas de trabalho do Databricks.
• Manter e aprimorar pipelines ETL, garantindo que sejam eficientes, confiáveis e atendam aos requisitos de negócios.
• Troubleshoot e resolver problemas relacionados ao processamento de dados, falhas em pipelines e gargalos de desempenho dentro do Databricks.
• Desenvolver e implementar estratégias para otimizar pipelines de dados para velocidade, eficiência de custos e desempenho, garantindo alinhamento com os objetivos de negócios.
• Contribuir para a melhoria da arquitetura de dados, modelos de dados e infraestrutura geral dentro do ecossistema Azure.
• Liderar esforços para monitorar, manter e escalar fluxos de trabalho de dados e soluções de armazenamento de dados dentro do Azure Databricks.
• Colaborar com outros engenheiros de dados, cientistas de dados e analistas para garantir a integridade dos dados e um fluxo suave entre os sistemas.
• Manter-se atualizado com as últimas tendências da indústria, ferramentas e melhores práticas em engenharia de dados e tecnologias de nuvem.

Requisitos:

• Mais de 3 anos de experiência como engenheiro de dados com especialização em construir e otimizar pipelines de dados em um ambiente baseado em nuvem, especificamente Azure.
• Proficiência em Azure Databricks e Python para desenvolver scripts de processamento de dados e otimizar fluxos de trabalho.
• Experiência com processos ETL, design de pipelines de dados, automação e resolução de problemas.
• Experiência prática com Apache Spark dentro do Databricks, incluindo ajuste e otimização de desempenho.
• Conhecimento de Azure Data Lake, Azure SQL e outros serviços de armazenamento e processamento de dados baseados em Azure.
• Compreensão forte de plataformas de dados em nuvem, incluindo considerações de rede, armazenamento, segurança e desempenho dentro do Azure.
• Capacidade de trabalhar efetivamente em equipes multifuncionais para coordenar e entregar soluções de dados de alta qualidade.
• Excelentes habilidades de resolução de problemas e analíticas, com a capacidade de identificar e resolver problemas relacionados a fluxos de trabalho de dados.
• Habilidades de comunicação fortes, tanto técnicas quanto não técnicas, com a capacidade de colaborar efetivamente com diferentes equipes.

Qualificações Preferenciais:

• Experiência com Azure Synapse Analytics, Azure Data Factory ou ferramentas de integração de dados semelhantes.
• Familiaridade com práticas de CI/CD e sistemas de controle de versão como Git.
• Experiência em metodologias ágeis e ferramentas de gerenciamento de projetos (por exemplo, Jira, Trello).
• Familiaridade com princípios de governança de dados e melhores práticas para garantir a qualidade e segurança dos dados.

Habilidades:

Adaptabilidade, Desenvolvimento Ágil de Aplicações, Comunicação, Pensamento Crítico, Atendimento ao Cliente, GitLab CI/CD, Colaboração Intencional, Gestão de Desempenho, Melhorias de Processo, Gestão de Risco, Testes de Escalabilidade, Desenvolvimento de Software, Metodologias de Ciclo de Vida do Desenvolvimento de Software (SDLC), Gestão de Stakeholders, Gestão de Equipe

Como se Candidatar:

Para enviar sua candidatura, clique em "Candidatar-se" e siga o processo passo a passo.

Oportunidade de Emprego Igualitária:

A QBE é uma empregadora de oportunidades iguais e é obrigada a cumprir a legislação de oportunidades de emprego igualitárias em cada jurisdição em que opera.

Por favor, consulte a descrição do trabalho.