广州八灵 python jobs (salary & requirements)

核心职责​
1、数据采集服务搭建：主导设计并开发电商平台（得力、苏宁等）公开数据采集方案，精准爬取商品信息、订单详情、价格动态等核心数据，保障数据采集的完整性与时效性。​
2、数据管道运维优化：负责现有采集任务、数据同步流程的日常维护，持续迭代采集策略、调度机制及数据清洗规则，提升数据质量、采集效率，降低资源消耗。​
3、数据同步闭环建设：参与设计并实现内部业务状态（如订单妥投、签收、退款）向上游电商平台的回传模块，确保数据流转的闭环性与一致性。​
4、反爬策略攻关：深入研究各类电商平台反爬机制（验证码、IP 封禁、频率限制等），制定针对性突破方案，保障数据采集通道长期稳定畅通。​
5、技术沉淀与文档编写：撰写规范、清晰的技术文档（设计方案、接口文档、运维手册等），沉淀技术经验，助力团队协作与知识传承。​
任职要求​
必备条件​
1、学历与经验：计算机相关专业本科及以上学历，3 年以上 Python 开发经验，且具备数据采集 / 爬虫项目实战经历。​
2、技术能力：​
1）精通 Python 语言，熟练运用 Scrapy、Requests、BeautifulSoup 等主流采集工具库，能独立完成复杂采集需求开发。​
2）深入理解 HTTP/HTTPS、TCP/IP 等网络协议，熟练使用浏览器开发者工具（F12）进行请求分析、接口调试。​
3）具备处理验证码识别、IP 池搭建、频率控制等常见反爬机制的实际经验，能快速定位并解决采集过程中的技术问题。​
4）熟悉 MySQL/PostgreSQL 等关系型数据库，能编写高效 SQL 语句，具备数据存储、查询优化基础。​
5）掌握 Linux 基本操作命令，能独立完成服务部署、日志排查、任务调度等工作。​
3、综合素质：具备优秀的逻辑思维能力、自主学习能力和责任心，抗压能力强，能在快节奏项目中高效推进工作，确保交付质量。
​4、优先条件​
1）拥有爬虫集群搭建与维护经验，熟悉 Celery（任务队列）、Zookeeper（分布式协调）、Redis（缓存）等技术的实际应用。​
2）有电商平台（尤其是得力、苏宁等）数据采集或数据同步项目经验者优先。​
3）熟悉 RabbitMQ/Kafka 等消息队列、Redis 分布式缓存的应用场景与实践技巧。​
4）具备 Selenium、Playwright 等工具处理动态渲染网页（JS 加载、AJAX 异步请求）的开发经验。​
5）了解 Docker 容器化技术，有容器化部署、运维经验者优先。