爬虫工程师岗位职责

1.负责设计和开发爬虫系统
【工作内容】负责设计、开发和维护高效网络爬虫系统，包括数据抓取、解析、存储与处理；优化爬虫性能，解决反爬机制，确保数据获取稳定合法；编写技术文档，进行代码维护和版本管理；与团队协作，参与项目需求分析和方案设计。
【基本条件】文化水平：本科及以上学历，计算机相关专业优先（可放宽至大专）；身体素质：良好，能适应长时间使用电脑工作；健康程度：无重大疾病，无色盲色弱等影响工作的健康问题；具备良好的学习能力、逻辑思维和团队协作精神。

职责描述：
根据工作安排负责相关数据的自动化采集抽取及清洗工作
参与分布式爬虫架构设计及研发
负责分析数据需求，快速确定数据采集方案按时交付结果
维护数据增量，保证数据质量
熟悉python，scrapy等主流爬虫框架
熟悉js逆向，熟悉html，css
理解分布式
常用数据库mongodb，redis等
任职要求：
1、本科学历 计算机专业
2、2年以上工作经验
3、项目经验丰富
4、工作积极主动，乐于接受挑战
福利待遇：
1、每月15号发放薪资 高档写字楼，配备中央空调，冰箱，微波炉，茶水间等设备
五险一金 不加班 法休
2、不定期团建，省内外旅游，奶茶福利，节日礼品
3、一经录，公司会提供完善的培训体系，让你尽快融入团队，帮助你更快有成绩
4、合肥本地甲级写字楼，工作环境佳，楼下美食街，公交站，地铁口，直达各大商圈

职位描述:
1、负责垂直网站数据采集工作；
2、优化数据采集框架算法模型
3、负责采集数据的清洗、整理、整合、转换等工作；
4、编写程序辅助数据加工工程师进行数据自动化处理。
职位要求:
1、大学本科及以上学历，计算机及软件工程相关专业，3-5年以上实际工作经验；
2、有编程基础，熟练使用python，精通Python下的多线程/多进程开发；
3、熟练使用python Scrapy等常见爬虫框架；
4、熟练使用SQL语句，存储过程，可进行SQL分析调优；
5、熟悉数据清洗与整理的技术，有亿级数据量的加工处理经验；
6、熟悉数据库的各项技术：性能调优、备份恢复、故障诊断等；