Contratação urgente de 2 - Engenheiro de Web Scraping

Salário: 30K-55K (excluindo bônus de projeto, para candidatos com habilidades excepcionais a negociação será feita)

Horário de trabalho: 10 dias de trabalho e 4 dias de folga (12:00-24:00 com 2 horas de intervalo para refeição)

Período de experiência: 1 mês

Projetos da empresa: Experiência em desenvolvimento de IM

Local de trabalho: inicialmente remoto, depois presencial (Tailândia/Banguecoque, trabalho em casa)

1. Responsável pelo desenvolvimento e manutenção da captura de dados web para direções de negócios prioritários

2. Projetar e otimizar programas de web scraping estáveis e eficientes, lidando com estratégias anti-scraping (como CAPTCHA, ofuscação de JS, bloqueio de IP, etc.)

3. Construir e manter um sistema de web scraping distribuído, realizando a coleta de dados em larga escala e de forma concorrente

4. Limpar, deduplicar e estruturar os dados coletados, garantindo a qualidade dos dados

5. Monitorar o estado de operação do sistema, lidando com anomalias de forma oportuna, aumentando a eficiência e estabilidade da obtenção de dados

6. Auxiliar a equipe de dados na conclusão de trabalhos de integração de dados e extração de etiquetas

1. Formação superior em Ciência da Computação, Engenharia de Software ou áreas relacionadas, com 2-3 anos ou mais de experiência prática em desenvolvimento de crawlers

2. Domínio de Python, familiaridade com os principais frameworks de crawling como Scrapy, Requests, Selenium, Playwright

3. Conhecimento em técnicas de parsing de páginas como HTML / XPath / CSS Selector / Expressões Regulares

4. Familiaridade com mecanismos comuns de anti-crawling e suas estratégias de enfrentamento, como pools de proxies, pools de UA, reconhecimento de CAPTCHA, desofuscação de JS, carregamento dinâmico de páginas, etc.

5. Experiência no uso de sistemas de armazenamento de dados como Redis, MongoDB, MySQL

6. Familiaridade com programação multithread/assíncrona, com boa estrutura de código e hábitos de desenvolvimento

7. Habilidade básica em operações Linux, capaz de implantar e manter scripts de coleta de forma independente

8. Responsável, com raciocínio lógico claro, forte resistência à pressão e bom espírito de trabalho em equipe

️️Condições preferenciais:

1. Experiência em projetos de crawlers distribuídos utilizando Scrapy-Redis

2. Familiaridade com frameworks de tarefas assíncronas como Kafka/Celery

3. Preferência para candidatos com experiência em processamento de CAPTCHA de imagem ou CAPTCHA deslizante

4. Conhecimento em estratégias comuns de prevenção a fraudes e suas soluções

5. Experiência em projetos de crawling em sites para adultos