爬虫岗位职责

岗位职责：1、负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析；2、负责网页信息抽取、数据清洗等研发和优化工作；。任职资格：1、具有1年以上爬虫相关经验，熟悉验证码破解，动态IP等反爬相关技术；2、熟悉Linux平台开发，熟悉C#/Python/Java等编程语言中的至少一种；3、熟悉HTTP/Html/JavaScript等常见Web技术，模拟Web行为，从结构化的和非结构化的数据中获取信息和存储数据；4、熟悉HBase/MongoDB等优先；5、具有搜索相关技术研发经验者优先；6、具有数据挖掘经验、自然语言处理、信息检索、机器学习背景者优先；工作时间：9:00--17:30，周末双休薪资待遇：8000福利待遇：中餐补贴提供住宿免费交通车五险一金节假日休息工作地点：贵阳市白云区科教街188号世纪恒通信息产业园大楼联系方式：蒋老师：***********1447585698@QQ:**********

工作职责：
1、主导和参与爬虫系统的架构设计、开发与优化；
2、负责小说和视频等数据爬虫的开发与维护；
3、负责进行前沿技术研究，难点攻关；
4、实时监控爬虫任务的执行状况，及时处理爬虫异常；
任职要求：
1、统招本科及以上学历，3年以上爬虫开发经验；；
2、熟练掌握python，掌握selenium、scrapy等爬虫相关框架，爬虫基础扎实；
3、熟悉掌握MongoDB，有过数据库调优和海量数据存储经验优先；
4、精通JS防护、混淆、逆向分析等技能，熟悉各种浏览器检测/反检测手段；
5、熟悉各类代理的使用，有海量代理池搭建经验；
6、熟悉前沿的反爬风控手段，对电商行业的反爬对抗有深入的理解；
7、工作认真细致、积极主动、责任心强；

岗位职责：1、负责相关各类网站及平台的数据采集方案设计与开发，搭建高效、稳定的爬虫系统，确保数据采集的准确性、完整性和时效性；2、​针对目标平台的反爬机制（如  加密、 验证、验证码、 封禁等），进行  逆向分析与破解，优化爬虫策略，解决采集过程中的技术难题；3、重点负责相关平台的数据采集，深入理解电力行业数据结构与业务逻辑，保障行业数据的有效获取；4、开发新的爬虫项目，监控数据采集状态，及时处理异常情况（如网站结构变更、反爬升级等），确保系统稳定运行；5、配合项目需求，接受短期出差任务, 可完成出差期间的现场工作安排。任职要求：1、本科及以上学历，计算机科学与技术、软件工程、电气等相关专业优先，1-5 年爬虫开发经验；​2、精通  编程语言，熟练使用 、、、、 等爬虫框架及工具；熟悉  协议、 协议，能熟练分析请求头、、 等参数；3、熟练掌握  语言，能使用  、 等工具分析网站请求流程，破解  加密、参数签名、动态  等反爬措施；有过复杂网站（如电商、金融、能源类平台） 逆向经验者优先；4、熟悉常见的数据库（如 、）操作，能将采集的数据高效存储与管理；5、接受短期出差（每年出差频次及时长根据项目需求调整），持有 1 及以上驾驶证，驾驶技术良好优先。6、工作认真，责任心强。