Visão Geral do Papel:

O Engenheiro de Dados é responsável por projetar, desenvolver e manter pipelines de dados escaláveis e infraestrutura, com foco na utilização das tecnologias Databricks e Data Lake. Este papel colabora com cientistas de dados, analistas e equipes de negócios para garantir o processamento, armazenamento e acessibilidade eficientes dos dados para análise. O Engenheiro de Dados desempenhará um papel fundamental na transformação de dados brutos em formatos estruturados valiosos e na otimização dos fluxos de trabalho de dados para apoiar decisões baseadas em dados em toda a organização.

Principais Responsabilidades:

1. Projetar, implementar e gerenciar pipelines de dados escaláveis para ingestão, processamento e armazenamento, utilizando as tecnologias Databricks e Data Lake.

2. Colaborar com cientistas de dados, analistas e partes interessadas de negócios para entender as necessidades de dados e garantir que as soluções atendam aos requisitos analíticos.

3. Integrar múltiplas fontes de dados (por exemplo, bancos de dados, APIs, armazenamento em nuvem) em repositórios centrais como Data Lakes, garantindo que os dados sejam facilmente acessíveis e otimizados para desempenho.

4. Desenvolver e automatizar processos ETL (Extração, Transformação, Carga) usando Databricks e outras ferramentas de big data.

5. Projetar e otimizar infraestruturas de Data Lake para armazenamento e processamento de dados estruturados e não estruturados.

6. Aplicar processos de validação, transformação e limpeza de dados para garantir dados consistentes e de alta qualidade em todos os pipelines.

7. Automatizar fluxos de trabalho de dados para garantir processamento de dados contínuo e acesso rápido para análise e aprendizado de máquina.

8. Trabalhar com plataformas de nuvem como AWS, Google Cloud e Azure para construir soluções de dados escaláveis na nuvem.

9. Garantir conformidade com padrões de privacidade, segurança e regulamentações na manipulação e processamento de dados.

10. Solucionar problemas, monitorar e otimizar pipelines de dados para alta disponibilidade, desempenho e resolução de erros.

11. Documentar arquiteturas de pipeline de dados, melhores práticas e processos para fomentar compartilhamento de conhecimento e colaboração entre equipes.

Competências Principais:

1. Especialização em Databricks: Sólida experiência em usar Databricks para construir pipelines de dados, otimizar desempenho de processamento e trabalhar com Spark para processamento de grandes volumes de dados.

2. Conhecimento de Data Lake: Forte compreensão da arquitetura de Data Lake e melhores práticas para gerenciamento de dados estruturados e não estruturados.

3. Habilidades de Programação: Proficiência em Python, Java ou Scala para construir e automatizar fluxos de trabalho de dados.

4. Experiência em Plataforma de Nuvem: Habilidade em trabalhar com plataformas de nuvem (AWS, Azure, Google Cloud).

5. Automação de ETL: Especialização na automação de processos ETL usando plataformas como Apache Airflow e fluxos de trabalho Databricks.

6. Integração de Dados: Capacidade de integrar e agilizar dados de múltiplas fontes em um pipeline coeso para análise.

7. Habilidades de Gestão de Pessoas: Comprovada capacidade de liderar, motivar e desenvolver uma equipe. Isso inclui estabelecer metas claras, fornecer feedback construtivo, resolver conflitos e fomentar um ambiente de trabalho positivo.

8. Habilidades de Colaboração: Forte jogador de equipe com a capacidade de comunicar conceitos técnicos complexos tanto para partes interessadas técnicas quanto não técnicas.

Habilidades Requeridas:

1. Experiência comprovada como Engenheiro de Dados, especificamente com tecnologias Databricks e Data Lake.

2. Especialização em SQL para gerenciamento e consulta de grandes conjuntos de dados.

3. Experiência prática com Databricks, Apache Spark e ferramentas de big data relacionadas.

4. Proficiência em plataformas de nuvem (AWS, Azure, Google Cloud).

5. Familiaridade com ferramentas de automação ETL como Apache Airflow e fluxos de trabalho Databricks.

6. Fortes habilidades de programação em Python, Java ou Scala para processamento de dados e desenvolvimento de pipeline.

7. Excelentes habilidades de resolução de problemas, com a capacidade de solucionar e resolver desafios complexos de engenharia de dados.

Por favor, consulte a descrição do trabalho.