python爬虫工程师岗位职责

设计与开发爬虫系统‌：负责设计、开发、维护分布式网络爬虫系统，实现对PC网站、手机APP、小程序等多平台数据的自动化抓取与分析。
‌数据采集与处理‌：定向采集指定网站或应用的海量数据（如用户信息、商品信息、评论、动态内容等），并完成数据的清洗、去重、结构化处理（如转换为JSON、CSV格式）及入库（如存储至MySQL、MongoDB等数据库）。
‌攻克反爬虫技术‌：研究并应对各类反爬虫机制，包括但不限于IP封禁、账号封禁、验证码（含滑块、点选）、JS混淆、设备指纹、动态加密、模拟登录等，确保数据采集的稳定性和效率。
‌系统优化与运维‌：持续优化爬虫架构与抓取策略，提升系统的稳定性、可扩展性和抓取速度；对爬虫系统进行7×24小时监控与维护，及时排查并解决运行中的故障。
‌需求对接与数据服务‌：与业务部门沟通，理解并评估数据需求，制定数据采集计划；参与数据层建设，为大数据分析、人工智能模型训练等提供高质量的数据支持。
‌关键技能要求‌
‌编程语言‌：精通 ‌Python‌（常用框架如Scrapy、Requests、Asyncio），熟悉 ‌Java‌ 或 ‌JavaScript/Node.js‌ 者优先。
‌核心技术‌：精通HTTP/HTTPS协议、HTML/CSS、XPath、正则表达式、DOM解析；熟悉浏览器自动化工具（如Selenium、Puppeteer）及APP逆向分析技术。
‌工具与平台‌：熟练使用Linux开发环境、抓包工具（如Charles、Fiddler）、数据库（MySQL、MongoDB、Redis）及分布式系统相关技术。
‌软技能‌：具备良好的分析和解决问题能力、学习能力、团队合作意识及沟通能力。

岗位职责：
1、负责设计和开发网络爬虫系统，完成关键信息的数据抽取、清洗、去重、分析等；
2、负责爬虫相关技术的研究和实现工作，比如APP破解、小程序破解、分布式爬虫、验证码破解、JS逆向反爬机制的研究等等；
3、负责公司爬虫的核心算法以及策略优化，熟悉采集系统的调度策略；
4、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；
5、负责现有部分爬虫的完善、维护工作，实时监控爬虫的进度和警报反馈，提升爬虫系统稳定性、可扩展性；
6、能独立解决实际开发过程碰到的各类问题。
岗位要求：
1、本科及以上学历，计算机相关专业；
2、至少3年及以上爬虫经验；
3、精通Python语言，具有扎实的计算机基础和编程能力，熟悉常见的算法与数据结构，具有优秀的逻辑思维能力；
4、熟悉Mysql，redis，有过数据库调优和海量数据存储经验优先；
5、熟悉常见的反爬机制，并对反爬具有一定的应对措施策略且有一定研究；
6、熟悉APP逆向、JS逆向、验证码破解、图像识别等技术；
7、熟悉常用网络协议、数据存储和数据处理技术；
8、熟悉linux系统环境、命令，shell、python脚本编写；
9、有电商网站、电商APP采集经验优先；
10、有机票行业从业经验优先。

Python爬虫工程师
一、岗位职责
使用 Python开发爬虫程序，爬取各类网站的数据；
负责爬虫程序的日常维护与迭代，及时处理网站反爬机制，保障数据爬取的稳定性和时效性；
配合数据分析师 / 产品经理，根据业务需求调整爬虫策略，优化数据爬取范围和频率；
编写爬虫开发文档、维护手册，沉淀技术方案和反爬应对经验。
二、基础要求
本科及以上学历，计算机、软件工程、信息工程等相关专业优先，1-3 年爬虫开发经验；
熟练掌握 Python（Scrapy、pyspider 等）或 Java（Jsoup、HttpClient、Selenium-Java 等）爬虫开发技术栈；
熟悉 HTTP/HTTPS 协议、Cookie/Session、User-Agent、请求头构造等网络基础，能分析网页请求（抓包、解析接口）；
了解常见反爬机制，并有实际应对经验；
熟悉 HTML/CSS 结构，能使用 XPath、CSS 选择器、正则表达式解析网页数据；
具备基础的数据处理能力，能使用 Python（Pandas/Numpy）或 Java 处理爬取后的原始数据。
有数据库（Oracle/MySQL/Redis）基础，能将爬取数据高效存储与缓存。
三、加分项
熟悉分布式爬虫、异步爬虫开发，能优化爬虫效率；AI相关技术应用