Você será responsável por projetar, implementar e manter pipelines de dados robustos e processos ETL. Com sua experiência em Spark, Talend, Airflow, Python e SQL, você garantirá o fluxo eficiente e a transformação de dados em nossos sistemas.

Responsabilidades Principais:

• Desenvolvimento de Pipeline de Dados: Projetar e desenvolver pipelines de dados escaláveis usando Apache Spark, garantindo processamento e transformação eficientes de dados.
• Processos ETL: Criar e gerenciar fluxos de trabalho ETL (Extrair, Transformar, Carregar) para integrar dados de várias fontes em nossos sistemas de dados.
• Integração de Dados: Utilizar Talend para tarefas de integração de dados, incluindo limpeza, transformação e carregamento de dados.
• Automação de Fluxo de Trabalho: Implementar e gerenciar fluxos de trabalho de dados usando Apache Airflow para automatizar e otimizar tarefas de processamento de dados.
• Programação: Aproveitar Python para escrever scripts para manipulação, transformação e análise de dados.
• Gerenciamento de Banco de Dados: Desenvolver e otimizar consultas SQL para recuperação e análise eficientes de dados em bancos de dados relacionais.
• Colaboração: Trabalhar em estreita colaboração com cientistas de dados, analistas e outras partes interessadas para entender as necessidades de dados e fornecer soluções eficazes.
• Qualidade dos Dados: Garantir a precisão, consistência e qualidade dos dados por meio de processos rigorosos de validação e monitoramento.
• Documentação: Criar e manter documentação detalhada para processos de dados, pipelines e fluxos de trabalho de integração.

Habilidades e Qualificações Requeridas:

• Proficiência em Apache Spark para processamento e análise de dados em larga escala.
• Experiência com processos e ferramentas ETL, incluindo Talend.
• Familiaridade com Apache Airflow para gerenciamento de fluxos de trabalho de dados e automação.
• Fortes habilidades de programação em Python para tarefas de engenharia de dados.
• Habilidades avançadas em SQL para consulta e gerenciamento de bancos de dados relacionais.

Por favor, consulte a descrição do trabalho.