上海 许昌龙祁 python jobs (salary & requirements)

岗位职责
1.多源数据接入与数据链路建设
负责电商平台、独立站、广告平台、CRM、商品、订单、支付、物流、埋点和第三方数据的接入。
建设数据库同步、API采集、日志采集、消息采集及文件数据接入能力。
设计全量、增量、CDC、批处理和实时流处理链路，保障数据接入的准确性、稳定性和时效性。
处理数据重复、丢失、乱序、延迟、Schema变更和上下游依赖等工程问题。
2.企业数据仓库建设
负责ODS、DWD、DWS、ADS等数仓分层设计、开发和持续优化。
围绕用户、商品、订单、广告、素材、流量、营销、库存和财务等主题域开展数据建模。
建设维度模型、事实表、宽表、标签表、汇总层和应用层数据集。
为GMV、ROI、CPS、CAC、LTV、转化率、库存周转等经营指标提供统一数据基础。
3.数据治理与数据质量建设
参与指标口径、数据标准、主数据、元数据、数据目录、数据血缘和数据责任体系建设。
建立完整性、wei一性、准确性、一致性、及时性和合理性等数据质量规则。
5
建设数据对账、异常检测、质量评分、影响分析、告警和问题闭环机制。
推动敏感数据分类分级、权限控制、脱敏、审计和生命周期管理。
4.批流一体与大规模数据处理
使用Spark、Flink等框架进行大规模离线计算、流式计算和复杂数据加工。
基于Kafka建设实时数据采集与处理链路，支持实时数仓、实时指标和实时标签。
优化任务并行度、资源分配、数据倾斜、Shuffle、Checkpoint、状态管理和计算成本。
使用Airflow、DolphinScheduler等平台进行任务编排、依赖管理、补数、重跑和运行监控。
5.OLAP、数据湖与存储体系建设
负责Doris、ClickHouse、Hive等分析型存储的模型设计、分区分桶、查询和导入性能优化。
使用对象存储、Parquet、Iceberg等建设可扩展的数据湖或湖仓数据组织体系。
根据访问频率、数据规模、时效要求和成本选择合理的存储及计算方案。
支持明细查询、多维分析、即席分析和高并发BI查询场景。
6.多模态数据工程建设
负责图片、视频、音频、文本等非结构化数据的采集、清洗、去重、切片、标准化和元数据管理。
建设OCR、ASR、字幕、关键帧、镜头、主体、场景、情绪和内容标签等处理链路。
支持图像、视频与文本Embedding生成、向量数据组织、索引构建及相似素材检索的数据准备。
建设素材分析、内容理解、训练集、评测集和多模态主题数据集，保障数据版本和处理过程可追溯。
针对大文件、海量小文件、GPU任务和异构任务设计高效、稳定、可恢复的处理机制。
7.数据服务与应用支撑
为BI、经营驾驶舱、用户画像、推荐、预测、智能客服和素材分析等应用提供数据集和数据接口。
与后端工程师协作，明确数据口径、更新机制、查询性能及服务边界。
与算法和AI团队协作，提供特征、标签、向量、训练样本和效果评估数据。
8.数据平台稳定性与工程规范
建设任务运行监控、数据延迟监控、资源监控、成本监控和故障告警体系。
负责数据任务故障定位、补数恢复、性能治理和容量规划。
完善SQL和数据开发规范、版本管理、代码评审、测试、发布及回滚机制。
三、任职要求
11.本科及以上学历，计算机、软件工程、数据科学、数学等相关专业优先；具备3年以上数据仓库或大数据开发经验。
12.具备扎实的SQL能力，能够独立完成复杂数据加工、性能分析和SQL优化。
13.熟悉数据仓库理论、维度建模和ODS/DWD/DWS/ADS分层，具有至少一个完整数仓项目经验。
14.熟悉Doris、ClickHouse、Hive中至少一种数仓或OLAP技术，掌握分区、分桶、模型设计和性
能优化。
15.熟悉Spark或Flink，具备大规模离线或实时数据处理任务开发和调优经验。
16.熟悉Kafka，理解消费组、分区、Offset、消息顺序、重复消费、延迟和数据一致性等问题。
17.熟悉Airflow、DolphinScheduler或同类调度平台，具备任务编排、依赖管理、补数和监控经
验。
18.熟悉Python，能够进行数据采集、数据处理、任务开发、自动化工具和服务脚本建设。
19.理解数据质量、元数据、数据血缘、指标口径、主数据和数据安全等治理方法，并有实际落地意识。
20.熟悉Linux、Git、Docker及常见数据平台运维排障方式。
21.具备良好的业务理解和跨团队协作能力，能够将分析、算法和业务需求转化为稳定的数据产品。
四、多模态方向专项要求
理解图片、视频、音频和文本等非结构化数据的存储、元数据组织、去重和版本管理方式。
了解FFmpeg、OpenCV、OCR、ASR、关键帧提取、字幕处理等常见多媒体处理技术或工具。
了解Embedding、向量检索和向量数据库的基本原理，能够与算法团队协作建设多模态数据链路。
能够设计可批量执行、可监控、可重试、可追溯的多模态处理任务，而非仅完成单机分析脚本。
五、加分项
有跨境电商、广告投放、用户行为、商品、订单、素材或财务经营数据经验。
有实时数仓、湖仓一体、CDC、数据中台或企业级数据治理项目经验。
熟悉Iceberg、Hudi、DeltaLake、Parquet、S3/OSS/GCS等数据湖技术。
熟悉向量数据库、CLIP或其他多模态模型的数据准备与特征处理链路。
有GPU任务调度、分布式视频处理、海量素材处理或训练数据集建设经验。
熟悉AWS、GoogleCloud、阿里云或容器化数据平台。
了解数据合规、隐私保护、GDPR或CCPA相关要求。