网络爬虫工程师岗位职责

一、工作职责
1. 负责设计、开发、优化网络爬虫系统，采集并处理海量数据；
2. 研究并解决反爬技术，确保数据采集的稳定性和高效性；
3. 监控数据质量，清洗、存储和分析爬取的数据；
4. 维护和优化已有爬虫，提升爬取效率与数据准确性；
5. 研究*新的爬虫技术、分布式爬取、动态页面解析等，提升整体抓取能力；
6. 处理封禁、验证码、IP 限制等问题，优化爬取策略；
二、任职要求
1. 本科或以上学历，计算机、软件工程等相关专业，2年以上工作经验；
2. 至少熟练使用一门编程语言：GO、PHP、JAVA、python等，具有良好的编程习惯，扎实的编程基础；
3. 具备分布式爬虫开发经验，熟练掌握相关爬虫框架，熟悉 HTTP 协议、网页解析技术、动态页面爬取方法；
4. 熟悉常见的反爬机制，掌握代理 IP 轮换、验证码识别、User-Agent 伪装等绕过技术；
5. 具备数据清洗、存储、处理的能力，熟悉 MySQL、MongoDB、Elasticsearch 等数据库；
6. 具有良好的代码规范和团队合作精神，责任心强，善于沟通。

职责：
系统设计：负责设计、开发和维护分布式网络爬虫系统与数据采集模块，并能快速响应业务的变动。
数据抓取：通过网络爬虫技术、公开数据库及合法渠道采集相关数据，具体包括对品牌方自身电商数据、竞品数据、小红书数据等特定目标和定向网站的数据，以及进行大规模采集。
技术攻关：研究并应用技术应对反爬虫策略，例如设计爬虫策略和防屏蔽规则，使用IP代理池、Headers认证等，以提升网页抓取的效率和质量。
数据处理：负责对采集到的数据进行提取、清洗、结构化、入库及统计分析，确保数据的准确性与时效性。
合规与安全：在数据采集过程中，遵守数据安全与隐私保护法规，如《网络安全法》《个人信息保护法》，确保数据获取方式合法合规。

硬技能：
编程语言：熟练掌握 Python（常用）或 Java等，并能使用相关的开源爬虫框架，如 Scrapy、Selenium、BeautifulSoup等。
网络协议：了解 HTTP 等网络协议，熟悉基于Cookie的网站登录原理。
数据存储：能使用 SQL 数据库（如 MySQL/PostgreSQL）或 MongoDB，Redis 进行数据存储与管理。
系统构建：对分布式爬虫架构、JS逆向分析有一定了解，有海量代理池搭建经验者更佳。

专业背景：通常要求一本本科及以上学历，计算机相关专业背景优先。
经验与业务理解：具备企业级数据采集与处理的项目落地能力，有从事海量网络爬虫、网页去重、网页信息抽取经验。能快速理解业务需求，有特定行业（如企业工商数据、招标网站）数据采集经验者是加分项。
合规意识：这是非常重要的方面，需要熟悉相关法规，确保数据来源合法，并对数据脱敏、隐私保护有实操经验。
个人特质：工作态度踏实、认真，能承受一定工作压力，有责任心、有团队协作能力，逻辑清晰，能适应快速响应业务需求。

岗位职责
1、负责网络资源的搜集、获取、清洗、去重、分类及过滤，构建高质量的数据资源库；
2、根据业务需求，设计并实现高效的数据采集方案，确保数据的实时性和准确性；
3、协助业务部门进行数据的更新与维护，提供数据支持及解决方案；
4、优化采集脚本，提升数据采集效率，解决采集过程中的反爬虫策略问题；
5、参与数据采集工具的开发以及成品数据集的制作
任职要求
1、统招本科及以上学历，计算机、电子信息、软件工程等相关专业；
2、熟练掌握Python编程语言，具备扎实的编程基础，熟练使用正则表达式、requests、xpath等模块；
3、熟练使用爬虫技术栈，熟练掌握web端数据采集、html解析、js逆向等技术，掌握多种反爬解决方案。
4、掌握常用数据库操作，mongodb，mysql等；
5、了解Linux开发环境，掌握基本shell命令，具备linux软件部署的能力；
6、有爬虫类项目经验优先，熟悉常用的爬虫框架(如Scrapy、自动化等)；