上海 python jobs (salary & requirements)

岗位职责
1. 负责公司业务相关网站的数据采集与解析，构建高效、稳定的分布式爬虫系统；
2. 研究和应对目标网站的反爬机制，提升爬取成功率与数据质量；
3. 优化爬虫框架与数据抓取流程，保证高并发、高可用的数据采集能力；
4. 参与数据清洗、结构化存储与数据质量监控；
5. 与业务团队协作，提供数据支撑。
任职要求
1. 计算机、软件工程或相关专业，本科及以上学历（经验优秀者可放宽）；
2. 熟练掌握 Python，理解常见爬虫框架（Scrapy、Feapder、Playwright、Selenium、DrissionPage 等）；
3. 熟悉 HTTP/HTTPS 协议、常见反爬机制（验证码、JS 混淆、IP/UA 封禁等）及应对手段（代理池、动态渲染、分布式架构）；
4. 有 数据解析与处理能力（如 XPath、CSS Selector、正则表达式、BeautifulSoup、lxml 等）；
5. 熟悉 反爬绕过 技术（JS 逆向、滑块验证码、指纹模拟等）；
6. 有多个海外社交媒体采集以及风控的经验；
7. 具备良好的代码规范、文档习惯与团队协作能力。