岗位职责：

负责社媒KOL、区块链资讯信息聚合网站信息采集
负责爬虫引擎和爬虫任务开发及优化、架构设计、系统规划，以及爬虫技术的调研
负责爬虫数据采集、解析、清洗、去重、分发、入库等，不断提升采集效率
破解反爬机制，优化爬虫路由调度策略，同时负责反爬策略的设计及优化
爬虫健康、数据质量监控，确保爬虫的稳定性、可靠性、及时性、准确性


任职要求：


了解或掌握区块链基本概念知识
熟悉使用Python语言，熟练掌握主流开源爬虫框架Scrapy、Requests、Ui automator2、Playwright等
精通爬虫抓取原理及技术，熟悉爬虫的设计及实现流程，至少2-3年互联网数据抓取及爬虫系统开发经验
熟练掌握mongo、redis、mq、mysql等相关技术，了解各种Web前端技术，包括XHTML/XML/CSS/JavaScript/AJAX等
熟悉反爬虫机制并有对应的破解方案
优秀的分析问题和解决问题的能力，对解决具有挑战性问题充满激情，良好的团队合作精神具有强烈的责任心

任职要求：



了解或掌握区块链基本概念知识
熟悉使用Python语言，熟练掌握主流开源爬虫框架Scrapy、Requests、Ui automator2、Playwright等
精通爬虫抓取原理及技术，熟悉爬虫的设计及实现流程，至少2-3年互联网数据抓取及爬虫系统开发经验
熟练掌握mongo、redis、mq、mysql等相关技术，了解各种Web前端技术，包括XHTML/XML/CSS/JavaScript/AJAX等
熟悉反爬虫机制并有对应的破解方案
优秀的分析问题和解决问题的能力，对解决具有挑战性问题充满激情，良好的团队合作精神具有强烈的责任心