爬虫岗位职责

岗位职责
● 按照业务需求设计并实现网页数据采集程序
● 对获取的数据进行标注处理与清洗工作
● 负责爬虫系统的部署实施及日常维护

任职要求
1. 技术能力
● 精通 Python/PHP，具有良好的编码功底和数据结构理解能力
● 掌握 HTTP/HTTPS 协议与 TCP/IP 网络架构，能运用抓包工具（如 Charles、Fiddler）进行请求分析
● 熟悉 PostgreSQL/Mysql 数据库开发，具备 SQL 性能优化与索引规划能力
● 熟练使用 Scrapy、Selenium、Playwright 等框架，了解分布式爬虫技术（如 Scrapy-Redis）

2. 经验要求
● 具备 1 年以上爬虫开发经历，有参与海外社交平台数据采集项目者优先

3. 其他要求
加分项
● 具备前端基础知识（HTML/CSS/JavaScript），可完成动态渲染页面的逆向解析
● 理解主流反爬机制（如 JS 混淆、验证码识别、IP 频率限制），拥有实际应对经验
【工作内容】● 按照业务需求设计并实现网页数据采集程序
● 对获取的数据进行标注处理与清洗工作
● 负责爬虫系统的部署实施及日常维护
【基本条件】1. 技术能力
● 精通 Python/PHP，具有良好的编码功底和数据结构理解能力
● 掌握 HTTP/HTTPS 协议与 TCP/IP 网络架构，能运用抓包工具（如 Charles、Fiddler）进行请求分析
● 熟悉 PostgreSQL/Mysql 数据库开发，具备 SQL 性能优化与索引规划能力
● 熟练使用 Scrapy、Selenium、Playwright 等框架，了解分布式爬虫技术（如 Scrapy-Redis）

2. 经验要求
● 具备 1 年以上爬虫开发经历，有参与海外社交平台数据采集项目者优先

3. 其他要求
加分项
● 具备前端基础知识（HTML/CSS/JavaScript），可完成动态渲染页面的逆向解析
● 理解主流反爬机制（如 JS 混淆、验证码识别、IP 频率限制），拥有实际应对经验

外派小满科技项目
需具备CET-4或以上英语等级认证

岗位职责
●按照业务需求进行网页爬虫开发
●对采集的数据开展标注与清洗工作
●负责爬虫系统的部署及日常运维管理

任职要求
1.技术能力
●精通Python/PHP，具有良好的编程功底和数据结构掌握能力
●掌握HTTP/HTTPS协议与TCP/IP网络架构，能运用抓包工具（如Charles、Fiddler）进行请求分析
●熟悉PostgreSQL/Mysql数据库开发，具备SQL优化与索引设计能力
●熟练使用Scrapy、Selenium、Playwright等框架，了解分布式爬虫技术（如Scrapy-Redis）

2.经验要求
●具备1年以上爬虫开发经验，有海外社交媒体类数据采集项目经历者优先

3.其他要求
●全日制本科及以上学历
●获得CET-4或同等及以上英语水平认证

加分项
●掌握前端相关技术（HTML/CSS/JavaScript），可对动态渲染页面进行逆向解析
●熟知常见反爬机制（如JS混淆、验证码识别、IP频率限制），并具备实际应对经验
【工作内容】按照业务需求进行网页爬虫开发，对采集的数据开展标注与清洗工作，负责爬虫系统的部署及日常运维管理。
【基本条件】精通Python/PHP，具备良好编程功底；掌握HTTP/HTTPS协议与网络架构，能运用抓包工具分析请求；熟悉PostgreSQL/Mysql数据库开发及SQL优化；熟练使用Scrapy、Selenium、Playwright等框架；具备1年以上爬虫开发经验，有海外社交媒体数据采集项目经历者优先；全日制本科及以上学历，英语水平需CET-4或以上；身体健康，无色盲色弱等影响工作的身体缺陷。

岗位职责：1、负责相关各类网站及平台的数据采集方案设计与开发，搭建高效、稳定的爬虫系统，确保数据采集的准确性、完整性和时效性；2、​针对目标平台的反爬机制（如  加密、 验证、验证码、 封禁等），进行  逆向分析与破解，优化爬虫策略，解决采集过程中的技术难题；3、重点负责相关平台的数据采集，深入理解电力行业数据结构与业务逻辑，保障行业数据的有效获取；4、开发新的爬虫项目，监控数据采集状态，及时处理异常情况（如网站结构变更、反爬升级等），确保系统稳定运行；5、配合项目需求，接受短期出差任务, 可完成出差期间的现场工作安排。任职要求：1、本科及以上学历，计算机科学与技术、软件工程、电气等相关专业优先，1-5 年爬虫开发经验；​2、精通  编程语言，熟练使用 、、、、 等爬虫框架及工具；熟悉  协议、 协议，能熟练分析请求头、、 等参数；3、熟练掌握  语言，能使用  、 等工具分析网站请求流程，破解  加密、参数签名、动态  等反爬措施；有过复杂网站（如电商、金融、能源类平台） 逆向经验者优先；4、熟悉常见的数据库（如 、）操作，能将采集的数据高效存储与管理；5、接受短期出差（每年出差频次及时长根据项目需求调整），持有 1 及以上驾驶证，驾驶技术良好优先。6、工作认真，责任心强。