• Participar do design, desenvolvimento e otimização da plataforma de big data da empresa, apoiando o crescimento contínuo dos negócios e a tomada de decisões baseada em dados.

• Responsável pela construção do cluster ClickHouse, ajuste de desempenho, monitoramento e manutenção diária, garantindo alta disponibilidade e desempenho do sistema.

• Participar do desenvolvimento, implantação e manutenção de tarefas de processamento de fluxo com Flink, garantindo a operação estável da cadeia de processamento de dados em tempo real.

• Apoiar as demandas de serviços de dados das áreas de negócios, desenvolvendo serviços de API de dados baseados em Java Spring Boot.

• Auxiliar a equipe de ciência de dados na construção de pipelines de dados, apoiando o treinamento de modelos algorítmicos e serviços online.

• Continuamente otimizar processos de processamento de dados e arquitetura de sistemas, melhorando a estabilidade e escalabilidade do sistema.

• Assumir responsabilidades ativamente em projetos, impulsionar a resolução de problemas, demonstrar espírito de proprietário e manter boa capacidade de execução e comunicação sob pressão.

• Graduação em nível superior, preferencialmente em áreas relacionadas à computação, engenharia de software, tecnologia da informação, entre outras.

• Experiência de 3 a 5 anos em big data.

• Base sólida em bancos de dados: familiaridade com bancos de dados relacionais (como MySQL, PostgreSQL) e bancos de dados colunar (como ClickHouse, Doris), compreendendo seus princípios, armazenamento subjacente, otimização de consultas e outros mecanismos-chave.

• Habilidade de desenvolvimento forte: domínio de Java, com experiência no uso do framework Spring Boot para desenvolvimento de serviços REST API.

• Excelentes habilidades de comunicação e colaboração, capaz de trabalhar em estreita colaboração com equipes de análise de dados, produtos e negócios.

• Alta responsabilidade, boa capacidade de trabalhar sob pressão e resolver problemas, capaz de impulsionar proativamente o progresso do trabalho.

• Disponibilidade para realocação para o Japão após seis meses (apoio ao visto da empresa).

Pontos bônus se você também tiver:

1. Experiência prática com componentes como Kafka, Zookeeper, HDFS, Hive, Airflow;

2. Experiência em projetos relacionados a sistemas de recomendação, perfis de usuário, ordenação personalizada;

3. Fundo relacionado a algoritmos de previsão (como previsão de séries temporais, previsão de comportamento do usuário);

4. Familiaridade e prática com modelos de linguagem grandes (LLM, como ChatGPT, Llama, etc.) em cenários de negócios ou sistemas (como aumento de dados, resumo automático, perguntas e respostas inteligentes);

5. Participação em projetos de construção de data warehouse em tempo real e sistemas de indicadores;

6. Preferência para candidatos com experiência na construção de plataformas de big data do zero ao um.

ClickHouse

• Profundo conhecimento em modelagem de dados, otimização de consultas e gerenciamento de recursos no ClickHouse;

• Experiência prática em operações de cluster, resolução de falhas e monitoramento de desempenho;

• Familiaridade com a integração do ClickHouse com middleware de dados, processamento de fluxo e sistemas de agendamento.

Flink

• Familiaridade com os mecanismos subjacentes do Flink, como checkpoint, state backend, janela, etc.;

• Capacidade de escrever independentemente tarefas complexas de processamento em tempo real no Flink e resolver problemas de desempenho durante a execução;

• Experiência em implantação de cluster Flink e manutenção de estabilidade.