中项永达 python 招聘（工资待遇要求）

岗位职责
1.维护和优化现有爬虫系统，解决爬虫运行过程中的各类异常问题，持续提升爬取效率及稳定采集量；
2.负责设计和开发高效、稳定的分布式爬虫系统，实现对各类网站及 API 的数据采集；针对不同网站的反爬机制，制定并实施有效的应对策略，包括但不限于代理池构建、User-Agent 轮换、验证码识别等，保证爬虫的持续可用率不低于 95%。
3.与数据部门、产品经理等团队成员协作，明确数据需求，制定数据采集计划，确保采集数据的准确性和完整性；并数据规模和结构特点，选择合适的存储方式（如 MySQL、MongoDB、Redis 等），并优化存储性能。
所需技能：
1、精通 Python 编程语言，熟练掌握面向对象编程思想，能熟练使用 Requests、BeautifulSoup、Scrapy 等爬虫常用库，能够独立开发高性能的爬虫程序
2、熟悉 HTML、CSS、JavaScript 等前端技术，能够解析复杂的网页结构，提取所需数据。
3、掌握至少一种关系型数据库（如 MySQL）和一种 NoSQL 数据库（如 MongoDB、Redis）的使用，了解其数据存储原理和优化方法。
4、熟悉常见的反爬机制，如 IP 封锁、验证码、动态加载、请求频率限制等，并具备相应的解决方案实施经验。