Nuokangda Pharma python jobs (salary & requirements)

1. 数据源分析与策略制定： 负责分析全球主要医药数据源（如药品监管机构NMPA/FDA/EMA官网、临床试验登记平台、医学文献库PubMed、医药行业资讯站等）的网站结构、数据接口及反爬机制。
2. 爬虫系统开发与维护： 利用Python及相关技术栈（如Scrapy, Requests, Playwright），设计、实现并优化高可用、高效率的分布式爬虫系统，实现对药品审评、临床试验、医药专利、市场报告等关键数据的自动化采集。
3. 数据清洗与处理： 负责对采集到的多源、异构原始数据进行深度清洗、去重、校验、格式标准化与集成，构建稳定、高效的ETL数据流水线，确保数据质量。
4. 数据存储与管理： 负责将处理后的高质量数据存储至合适的数据库（如MySQL, PostgreSQL, MongoDB, Elasticsearch等），并参与设计及优化数据库表结构、索引策略与存储方案。
5. 系统监控与优化： 建立系统监控机制，持续追踪爬虫运行状态、数据质量与采集效率；能够快速定位并解决因网站改版、反爬策略升级等引发的采集故障，并持续优化系统性能。
6. 跨团队协作： 与数据科学、业务分析及产品团队紧密协作，深入理解医药数据业务需求，为公司的药物研发、市场洞察及商业决策提供坚实的数据底层支持。
任职要求：
1. 学历与经验： 计算机科学、软件工程、数据科学或相关专业本科及以上学历；具备2年及以上网络爬虫或数据采集相关开发经验，有医药、生物或相关领域数据采集经验者优先。
2. 编程能力： 精通Python编程，具备良好的编码风格，熟悉面向对象编程，了解多线程、多进程、协程及异步IO等并发处理技术。
3. 爬虫技术：深入理解HTTP/HTTPS协议、Web安全及Restful API规范，熟悉网页前端技术（HTML, CSS, JavaScript, AJAX）。精通XPath、CSS选择器、正则表达式等数据解析与提取技术。精通Scrapy框架，并熟练使用Requests, BeautifulSoup, Selenium, Playwright等主流爬虫库及工具。具备丰富的反爬虫应对经验，能有效处理IP封禁、验证码、动态令牌、JavaScript渲染等复杂情况。
4. 数据处理能力： 熟练使用Pandas, NumPy等库进行数据清洗、转换与分析，具备构建复杂ETL流程的能力。
5. 数据库能力： 熟练掌握SQL，拥有至少一种关系型数据库（MySQL/PostgreSQL）的开发与优化经验；熟悉一种NoSQL数据库（如MongoDB, Redis）的使用。
6. 运维与工具： 熟悉Linux开发环境，掌握Git等版本控制工具，能够独立完成应用的部署与运维；有Docker、Celery或分布式爬虫经验者优先。