base Shenzhen, trabalho remoto

Responsabilidades:

• Baseado na mineração de dados web3 em grande escala, estabelecer perfis de usuários e uma estrutura de dados de perfil de cadeia, otimizando continuamente o modelo de dados.
• Familiaridade com o processo de integração e análise de dados on-chain, otimização de armazenamento centralizado.
• Verificação de dados em tempo real e offline, garantindo a qualidade dos dados.
• Construção de plataformas de dados on-chain (principalmente em Java), design de arquitetura e soluções.
• Otimização de armazenamento e links de consulta para volumes de dados extremamente grandes. Capacidade de fornecer soluções sistemáticas para a reestruturação da arquitetura de dados existente.

Requisitos:

• Familiaridade com motores de armazenamento de big data e middleware de mensagens, incluindo, mas não se limitando a, ES, ClickHouse, Hbase, Kafka, Redis, entre outros.
• Familiaridade com sistemas distribuídos comuns, incluindo Hadoop, HDFS, Spark, entre outros, capaz de utilizar motores distribuídos para escrever tarefas de limpeza de dados eficientes.
• Experiência com motores de processamento em tempo real Flink; para tarefas grandes em Flink, deve ser capaz de otimizar a partir de múltiplas perspectivas, incluindo plano de execução, configuração de recursos, ajuste de parâmetros e código-fonte subjacente.
• Cenários de governança de dados, capaz de identificar problemas de dados existentes por meio de diversas abordagens.
• Gestão da qualidade de dados, com um plano de gestão sistemático e participação no desenvolvimento da plataforma de gestão de qualidade de dados DQC.
• Domínio do stack tecnológico Java, incluindo frameworks open source como Spring Cloud e MyBatis.
• Familiaridade com teorias de otimização de JVM, capaz de realizar diagnósticos de otimização na plataforma de dados existente.

Diferenciais:

• Experiência em sistemas de perfil de usuário.
• Experiência em mineração de dados de alta qualidade (baseada em algoritmos de estratégia, aprendizado de máquina, etc.).