大数据爬虫工程师岗位职责

职位描述：
岗位职责:
1. 负责大数据爬虫的设计、开发与维护
2. 确保爬虫系统的稳定运行，及时处理技术问题
3. 与团队合作，共同完成项目目标

任职要求:
1. 具备出色的沟通能力，能够高效完成任务
2. 能够快速适应新环境，融入多功能团队
3. 持续关注行业动态，优化工作流程

【岗位职责】
1、负责网络资源的搜集、抽取、清洗、去重、分类及过滤，构建高质量的数据资源库；
2、根据业务需求，设计并实现高效的数据采集方案，确保数据的实时性和准确性；
3、协助业务部门进行数据的更新与维护，提供数据支持及解决方案；
4、优化采集脚本，提升数据采集效率，解决采集过程中的反爬虫策略问题；
5、参与数据采集工具的开发以及成品数据集的制作。
【任职要求】
1、统招本科及以上学历，计算机、电子信息、软件工程等相关专业；
2、熟练掌握Python编程语言，具备扎实的编程基础，熟悉正则表达式、XPATH、requests等技术；
3、熟悉Web前端技术，包括HTML、HTTP、JavaScript、JSON等，能够处理动态网页数据；
4、掌握常用数据库操作，mongodb，mysql等
5、了解Linux开发环境，掌握基本shell命令，具备linux部署的能力；
6、有爬虫类项目经验优先，熟悉常用的爬虫框架（如Scrapy、自动化等）；
7、具备网络资源搜集、信息抽取、文本分类等相关经验者优先；
8、具备良好的沟通能力和团队协作精神，能够独立解决问题并承担工作压力。

岗位职责：
1、设计并实施高效的数据抓取策略，针对网页、API及APP进行数据爬取；
2、优化爬虫架构，提升抓取效率和稳定性，处理大规模数据获取任务；
3、负责数据的清洗、预处理及存储，确保数据的质量及可用性；
4、解决复杂的反爬虫机制，如IP封禁、验证码、动态加载内容等问题。

任职要求：
1、精通Python，具备3年以上爬虫开发及优化经验；
2、熟练使用Scrapy、Scrapy-Redis等爬虫框架，了解JS逆向分析技术；
3、熟悉数据库操作，如MySQL、MongoDB，具备Redis、Kafka等缓存和消息队列的使用经验；
4、具备处理大规模并发请求的能力，熟悉代理池、User-Agent伪装等反制反爬虫手段；
5、具有良好的问题分析与解决能力，能够独立承担项目开发和维护工作。