• Participar en el diseño, desarrollo y optimización de la plataforma de grandes datos de la empresa, apoyando el crecimiento continuo del negocio y la toma de decisiones basada en datos.

• Responsable de la construcción, optimización del rendimiento, monitoreo y mantenimiento diario del clúster de ClickHouse, asegurando la alta disponibilidad y alto rendimiento del sistema.

• Participar en el desarrollo, despliegue y operación de tareas de procesamiento de flujo con Flink, garantizando el funcionamiento estable de la cadena de procesamiento de datos en tiempo real.

• Apoyar las necesidades de servicios de datos del negocio, desarrollando servicios API de datos basados en Java Spring Boot.

• Asistir al equipo de ciencia de datos en la construcción de tuberías de datos, apoyando el entrenamiento y servicio en línea de modelos algorítmicos.

• Optimizar continuamente los procesos de procesamiento de datos y la arquitectura del sistema, mejorando la estabilidad y escalabilidad del sistema.

• Asumir responsabilidades proactivamente en los proyectos, impulsar la resolución de problemas, tener espíritu de propietario, y ser capaz de mantener una buena capacidad de ejecución y comunicación bajo presión.

• Título universitario o superior, preferiblemente en áreas relacionadas con informática, ingeniería de software o tecnologías de la información.

• De 3 a 5 años de experiencia en grandes datos.

• Base sólida en bases de datos: familiaridad con bases de datos relacionales (como MySQL, PostgreSQL) y bases de datos por columnas (como ClickHouse, Doris), así como comprensión de su almacenamiento subyacente, optimización de consultas y otros mecanismos clave.

• Capacidad de desarrollo fuerte: dominio de Java y experiencia en el desarrollo de servicios REST API utilizando el marco Spring Boot.

• Excelentes habilidades de comunicación y colaboración, capaz de trabajar estrechamente con equipos de análisis de datos, productos y negocios.

• Alta responsabilidad, buenas habilidades para trabajar bajo presión y resolver problemas, capaz de impulsar proactivamente el avance del trabajo.

• Disponibilidad para reubicarse en Japón después de seis meses (apoyo con visa de la empresa).

Puntos adicionales si también tiene:

1. Experiencia práctica con componentes como Kafka, Zookeeper, HDFS, Hive, Airflow;

2. Experiencia en proyectos relacionados con sistemas de recomendación, perfiles de usuario, clasificación personalizada;

3. Fondo en algoritmos de predicción (como predicción de series temporales, predicción de comportamiento del usuario);

4. Familiaridad y experiencia con la aplicación de modelos de lenguaje grande (LLM, como ChatGPT, Llama, etc.) en escenarios de negocio o sistema (como aumento de datos, resumen automático, preguntas y respuestas inteligentes);

5. Participación en proyectos de construcción de data warehouses en tiempo real y sistemas de métricas;

6. Prioridad para quienes tengan experiencia en la construcción de plataformas de grandes datos desde 0 hasta 1.

ClickHouse

• Dominio en modelado de datos, optimización de consultas y control de recursos en ClickHouse;

• Experiencia práctica en mantenimiento de clústeres, resolución de fallos y monitoreo de rendimiento;

• Familiaridad con la integración de ClickHouse con middleware de datos/procesamiento en flujo/sistemas de programación.

Flink

• Familiaridad con los mecanismos subyacentes de Flink, como checkpoint, state backend, y mecanismos de ventana;

• Capacidad para escribir de manera independiente tareas complejas de procesamiento en tiempo real con Flink y resolver problemas de rendimiento en ejecución;

• Experiencia en despliegue de clústeres Flink y mantenimiento de estabilidad.