Estamos em busca de um desenvolvedor Backend altamente qualificado para construir um banco de dados robusto e desenvolver um sistema backend capaz de extrair, processar e armazenar dados de sites externos. O candidato ideal terá experiência em web scraping, gerenciamento de banco de dados, desenvolvimento de APIs e otimização de backend.

• Projetar e implementar um banco de dados escalável (PostgreSQL, MySQL, MongoDB) para armazenar grandes volumes de dados estruturados.
• Desenvolver scripts de web scraping utilizando Python (Scrapy, BeautifulSoup, Selenium) ou Node.js (Puppeteer, Cheerio) para extrair dados de sites externos.
• Garantir limpeza, validação e estruturação de dados antes de inseri-los no banco de dados.
• Construir uma API RESTful para fornecer dados de forma eficiente para o frontend.
• Otimizar consultas ao banco de dados para garantir tempos de resposta rápidos.
• Implementar cron jobs e scripts de automação para atualizações periódicas de dados.
• Proteger o armazenamento de dados e prevenir bloqueios de detecção de scraping (por exemplo, proxies rotativos, navegadores headless).
• Integrar APIs de terceiros se necessário para recuperar fontes de dados adicionais.