数仓研发工程师岗位职责

【工作职责】
1.熟悉shopee供应链核心业务，负责shopee供应链数据仓库部分板块内的离线/实时研发，包含中间层、应用层，做好质量、时效、计存成本等治理工作。
2.有一定的商业sense，与运营、BI、AI配合，做好各类数据应用的交付，如指标体系、特征数据的设计、开发，确保时效和质量。
【职位要求】
1.具备3年及以上互联网行业大型数据仓库架构设计、有模型设计、ETL设计开发，数据治理等相关经验，有基于分布式计算平台（Hadoop、hive、spark）的海量数据研发经验及性能优化经验；
2.具备一定的java、python语言的开发能力，熟悉flink/spark streaming, hudi/paimon 等一种或多种流式、湖仓计算框架；
3.有良好的沟通协调能力，能够快速推动工作执行落地。英语口语流利者优先。

岗位职责：
1.参与滴滴各业务线财务主题数据基础建设工作；
2.参与支持各业务线财报，管报数据建设和结账工作；
3.参与支持集团审计，税务等工作；
4.参与与商家的结算工作；

任职资格：
1.深入理解常用的数据建模理论;
2.熟悉Hadoop生态，熟悉hive，Spark、StarRocks等大数据引擎，有Spark任务调优经验；
3.了解数据治理，理解数据治理的重要性；
4.具备较强的编程能力和编程经验，逻辑严密，细致有耐心；
5.具备一定的数据分析能力，具备数据敏感性和探知欲，专注数据的价值发现和转化；
6.具备快速学习能力、沟通协调能力及团队精神，有较强的责任心和学习积极性；
7.对新技术如数据湖、湖仓一体、流批一体等技术有一定了解优先；
8.、计算机，数学，财经相关专业、3-5年互联网工作经验、有财务相关知识优先；

【工作地点】：北京/上海/杭州均可

【岗位职责】
1. 深入理解滴滴海外业务模式、流程和系统架构，和相关产品技术、业务运营高效沟通，设计合理的数据仓库架构。
2. 充分利用滴滴现有的各种数据仓库及反作弊处理平台，设计、开发和维护高效、可扩展的大数据处理系统，以支持安全反作弊业务的数据驱动决策和业务发展。设计并优化离线/实时数仓模型（如 ODS、DWD、DWS、ADS 分层），支持实时报表、监控和风控等场景。
3. 对多源异构数据（日志、事件消息、API、爬虫数据等）进行清洗、解析和结构化处理，提取关键业务信息。解决数据清洗中的 脏数据、格式混乱、缺失值、重复数据 等问题，提升数据质量。与数据开发、算法、业务团队协作，理解需求并构建高效的数据处理流程。
4. 跟踪大数据领域的新技术、新工具，不断探索并引入以提升团队的技术能力和项目效率。优化流式计算任务的 资源利用率（如 Flink 任务调优、Kafka 分区策略调整）。
5. 国际化安全反作弊技术团队其他开发工作。


【任职要求】
1. 统招本科及以上学历，计算机等相关专业; 3年及以上的互联网数据仓库开发工作经验，对业务和数据敏感
2. 熟悉大数据处理架构（如Flink、Spark Streaming、Kafka Streams等），熟悉数据集成解决方案，实现跨平台、跨系统的数据ETL。
3. 熟悉 MySQL、Redis、HBase、ClickHouse/Doris 等存储技术。能优化实时数据查询性能（如预聚合、索引优化）。
4. 熟悉 SQL，能编写复杂数据处理逻辑（如窗口函数、CDC 处理）。熟练使用 Python/Java/Scala 至少一种语言，能开发高效的数据清洗脚本。
5. 具备 非结构化/半结构化数据（JSON、XML、日志、文本等）解析和清洗经验。熟练使用 正则表达式、ETL 工具（如 Logstash、NiFi）、UDF 开发等技术进行数据规范化处理。
6. 熟悉 Linux 环境，具备 集群监控（Prometheus/Grafana）、故障排查 经验。

【加分项】
1. 具备国际化风控业务经验优先
2. 有算法经验者优先
3. 了解爬虫极其数据处理经验者优先
4. 了解图数据库、向量数据库者优先
5. 因为会与国外同事交流，或有国外出差机会，英语水平流利者为佳。