芯化和云 python jobs (salary & requirements)

岗位职责：
1、负责分布式爬虫系统的设计、开发和性能优化
2、完成网页/小程序/APP等多渠道数据采集、清洗、去重及存储
3、突破反爬机制（动态渲染、验证码、IP封锁等），保障数据获取稳定性
4、监控爬虫运行状态，快速定位并解决中断/异常问题
5、持续优化爬取策略，提升数据采集效率与质量

任职要求：
1.本科及以上学历，3年以上爬虫开发经验，熟悉各类主流网站的爬取逻辑与反爬机制，具备完整爬虫项目的开发和维护经验；
2. 熟练掌握Python及常用爬虫框架（如Scrapy、Requests、Selenium等）；熟悉常见反爬策略（动态渲染、JS逆向、加密参数分析、验证码识别、代理池管理等）；
3.掌握多线程/协程编程；具备分布式爬虫架构经验（如Scrapy-Redis、消息队列 Kafka/Celery），能设计大规模采集方案，支持断点续爬、增量更新、去重优化；
4.熟练使用pandas/Numpy进行数据清洗、格式转换；
5.掌握关系型/非关系型数据库（如MySQL、PostgreSQL、MongoDB、Elasticsearch等）、缓存设计与ETL流程设计，能根据业务需求设计高效的数据存储结构和索引方案；
6.熟悉Linux环境及常见脚本工具，能独立进行服务部署与维护，有Docker容器化经验，了解CI/CD流程。

加分项：
1.有AI/机器学习相关算法经验；
2.熟悉RPA工具，能将采集与自动化流程结合；
3.在大型互联网公司、数据公司、舆情公司有过数据采集经验。