python爬虫开发工程师岗位职责

工作职责：
1. 参与公司产品的技术架构设计，负责后端开发，与其他接口系统开发
2. 具备3年以上Django/Flask等主流Python Web应用的设计、应用开发经验
3. 具备2 年以上微服务架构开发经验，熟练掌握Docker容器及容器集群技术
4. 对HTML/CSS/JavaScript/JQuery有丰富经验、熟练使用git；
5. 熟悉Linux操作系统，熟悉MySQL/Postgres及关系数据库设计和开发；
6. 参与研发过程中的关键问题和技术难点公关；
7. 对设计模式、软件工程、用户体验等有较深入的理解；
8. 工作习惯良好：自驱动，强烈的主动钻研和学习，擅于合作，代码清晰整洁；
9. 能够独立阅读，理解以及翻译相关的英文技术资料

任职要求:
1. 拥有扎实的编程能力，熟悉 Python 或其他主流编程语言。
2. 熟悉网络基础知识和常用协议，了解 HTTP、HTTPS、FTP 等协议原理及使用方法。
3. 精通 Web 相关技术，包括 HTML、CSS 和 JavaScript，并有相关开发经验。
4. 具备良好的沟通能力和团队意识，有解决问题的积极心态和创新精神。

岗位职责：
1. 根据业务需求，研究爬虫策略和防屏蔽规则，设计和开发分布式爬虫，支持高并发多平台抓取；
2. 负责网页信息抽取、简单清洗、数据入库等开发；
3. 提升爬虫稳定性及可扩展性，充分利用资源，优化爬虫效率和质量。
任职资格：
1. 计算机软件及相关专业本科毕业；
2. 1年以上爬虫项目开发经验，优秀毕业生亦可；
3.了解或处理过手机端抓包、源码分析等；
4.了解或处理过webpack、jsvmp等
5. 熟悉爬虫原理及常见的反爬虫技术，如cookie、js加密、base64等；
6. 熟练运用python及多进程、多线程开发；
7. 熟练使用scrapy、requests、selenium、pyppeteer等爬虫包；
8. 熟悉html，正则、xpath等提取技术；
9. 熟悉Mysql、Redis等数据库及相关操作；
10. 熟悉Linux基础命令；
11. 有Django/Flask等web框架开发经验者优先。