DFC python jobs (salary & requirements)

【岗位职责】

1. 集成多种数据库（MySQL、PostgreSQL、SQLServer 等关系型库；MongoDB、Elasticsearch、ClickHouse 等其他常用类型数据库），负责数据运维、查询优化与性能调优。
2. 使用 NumPy、Pandas、Polars 进行数据清洗、转换、聚合。
3. 基于 Flask 或 FastAPI 构建高可用、可扩展的 RESTful API 后端服务。
4. 设计、开发与维护爬虫，解决反爬策略，保障数据采集的稳定与高效。
5. 持续优化数据处理流水线，解决大数据量下的性能瓶颈，保障数据质量、时效性与系统可维护性。

【任职要求】

一、基础条件
- 本科及以上学历，计算机相关专业，3～5 年 Python 开发经验，编码规范、基础扎实。
- 具备良好的问题分析能力及合作沟通能力。

二、数据库能力
- 至少精通 MySQL / PostgreSQL / SQLServer 中的一种：熟练编写复杂 SQL，掌握索引优化、事务隔离、慢查询分析。
- 熟练使用 MongoDB 、Elasticsearch ，了解 ClickHouse 列式存储特性及适用场景。
- redis 常用数据结构的使用及调优。
- 具备生产环境的数据建模与查询调优经验，能根据场景合理选型数据库。

三、数据处理能力
- 精通 NumPy 与 Pandas、Polars，高效完成数据清洗、分组、合并、缺失值处理等操作。
- 熟悉 Parquet 列式存储格式（压缩率、查询性能优势），有实际读写经验。
- 能处理 GB 级以上结构化数据，了解常见序列化/反序列化方式。

四、爬虫能力
- 熟练使用 Requests / BeautifulSoup/ Selenium / Playwright。
- 深入理解反爬机制（请求头校验、IP封锁、验证码、动态加载、JS混淆）并提出有效应对方案。
- 具备代理 IP 池、Cookie 管理、请求去重等实现经验。

五、后端服务能力
- 熟练使用 Flask 或 FastAPI，能独立完成 RESTful API 从设计到上线。
- 理解 FastAPI 异步特性（async/await）或 Flask 多线程/多进程部署。
- 有 API 安全（认证、授权、参数校验）、性能优化（缓存、连接池）、错误处理经验。

六、其他通用能力
- 良好的沟通协作能力、责任心与自我驱动力，能主动推进任务并分享技术经验。
- 追求代码质量与工程化，熟悉单元测试、代码 Review 流程。

【加分项】
- 有 Hadoop / Spark 等大数据相关经验
- 有前端、全栈经验
- 熟悉 Celery 或 Airflow
- 参与过开源项目、数据竞赛、有含金量的技术竞赛，有技术博客积累