python数据工程师岗位职责

岗位职责：
1. 对医疗数据进行基本处理和分析，包括但不限于：对数据进行统计和分析，并按需求对数据进行处理和开发（比如筛选、清洗、转换等）
2. 协助算法/开发同学构建高质量医疗数据，进行语言规则和医疗业务规则数据的编写，能通过数据修复线上badcase错误
3. 对NLP数据进行标注，确保数据的质量和准确性，为人工智能模型提供可靠的数据基础
4. 负责与其他团队或部门的对接，协调数据需求和交付
工作要求：
1. 计算机相关专业，大专及以上学历，有AI公司工作背景者优先
2. 有编程基础，熟练使用Python进行数据清洗、预处理和分析
3. 有数据标注经验，对数据敏感，具备良好的数据分析和解决问题的能力
4. 有较强的学习能力，工作认真细致，具有良好的沟通能力和团队合作能力

【岗位描述】
1.技术调研与方案选型： 针对复杂的图像、视频及多模态处理需求，快速追踪学术界与工业界*新模型，进行可行性评估并输出标准化的技术方案。
2.自动化数据管线建设： 负责跨模态数据集（文、图、音、视频）的清洗、特征提取与质量评估，构建从数据读取、算法处理到结果比对的自动化处理链路。
3.生产落地与架构加速： 将算法方案封装为高效的 Python 脚本或自定义插件，通过 Docker 化部署配合集群完成高并发生产，并针对模型推理进行工程化加速。

【任职要求】
1.编程底蕴： 精通 Python 编程，具备良好的工程代码习惯。能够熟练使用常用数据结构与算法，并在 AI 辅助下实现高效的代码重构与性能优化。
2.业务抽象能力： 具备优秀的工程化思维，能将模糊的业务痛点拆解为多步骤的模块化方案，并转化为严谨、可扩展的代码逻辑。
3.系统可靠性意识： 具有防御性编程意识，在设计数据链路时充分考虑异常处理、状态追踪、监控报警及幂等性防脏写机制。
4.资源与负载管理： 对计算资源（GPU/算力/内存）有边界感，在处理大规模并发任务时能有效预估复杂度，合理控制系统负载与吞吐。
5.交付与沉淀意识： 具有强烈的项目意识和细节交付精神。能定期复盘项目问题，输出高质量的技术文档，持续反哺团队知识库。

【加分项】
1.海量数据处理： 有过海量多模态数据（千万/亿级图文对、长视频对齐等）的清洗、解析或后端 Pipeline 设计经验。
2.ComfyUI 深度玩家： 具有 ComfyUI 自定义节点开发经验，并有实际的工业级生产落地案例。
3.模型微调实战： 有过从 0 到 1 构建高质量小批量数据集，并成功微调 LoRA / ControlNet 等轻量化模型以解决特定业务问题的经验。
4.底层架构理解： 熟悉 GPU 集群并发调度（多卡分布式）、MongoDB/SQL 异构数据设计，或深入了解 OpenCV、FFmpeg 等底层工具限制。

岗位职责：
1、负平台系统的数据接入、数据存储、数据计算、数据治理、数据提供等数据基础服务设计开发;
2、负责平台系统的数据集成、数据模型设计、数据指标设计、数据工作流设计、数据产品设计等数据应用设计开发;
3、参与完成数据仓库设计，推动完成数据模型建模，为各数据需求提供完备的数据支持;
4、负责持续对平台系统进行数据性能监控和诊断，持续优化平台系统的数据处理性能;
5、负责对平台系统上Pyhon任务进行设计、开发、测试、部署、维护。
岗位要求：
1、大学本科及以上学历，3-5年以上python数据工程师工作经验;
2、精通ETL开发，精通使用ETL工具，如ETL、Kettle等;
3、精通使用Django、Flask等主流的PythonWeb开发框架;
4、熟悉掌握Python语言，熟悉掌握Pyhon的常用科学计算、数据分析、机器学习第三方库;
5、熟练掌握Hadoop生态，包括HDFS、MapReduce、HBase、Hive、Spark、Flume、Zookeeper等，能熟练运用Python对Hadoop生态进行开发;
6、熟练掌握Docker、Ganglia、Zabbix等，能熟练运用Python对Docker、Ganglia、Zabbix等进行开发;
7、掌握算法和统计学知识，并能熟练使用SAS、SPSS等统计分析软件。