大数据数仓工程师岗位职责

职位描述
1、参与跨境电商数据中台建设，负责数据仓库的架构设计、模型设计和 ETL 开发，基于AWS Redshift 构建高效、稳定的数据仓库；
2、负责电商数据爬虫的开发与维护，从各大电商平台抓取商品、订单、评论等数据；
3、负责数据仓库的日常维护和优化，包括数据质量监控、性能调优、故障排查等；
4、参与数据治理工作，制定数据质量标准，监控数据异常，解决数据一致性、完整性等问题；
5、研究和探索新的数据仓库技术和工具，不断提升数据仓库的性能和效率；
6、编写相关技术文档，包括数据仓库设计文档、ETL 开发文档、数据字典等；
7、支持业务部门的数据需求，输出数据文档并推动数据产品化。

职位要求
1、计算机科学、软件工程、信息管理等相关专业本科及以上学历，5年以上数据仓库开发经验，有过广告、跨境电商或营销领域的数据仓库项目；
2、熟练使用SQL，熟练掌握至少一种编程语言（Python/Java/Scala等），具备数据处理、分析和挖掘经验，有丰富的 ETL 开发经验；
3、有基于AWS Redshift 或BigQuery等平台，构建包括数据集成、数据开发、数据质量、数据服务等模块经验；
4、熟悉大数据生态圈相关技术，如Spark、Flink、Doris、StarRocks、Dolphinscheduler、观远 BI等；
5、有过电商数据爬虫开发经验，熟悉常见的反爬虫策略和应对方法；
6、具备与技术中台进行数据交互开发的经验，熟悉 API 接口设计和开发；
7、有相关Dolphinscheduler/Seatunnel等大数据组件二开经验；
8、具备良好的沟通能力和团队合作精神，能够独立解决问题并承担工作压力。

一、岗位职责
数据仓库建设与管理
负责大数据数据仓库的建设，根据业务需求制定设计方案和开发计划。
参与数据仓库的架构设计、模型设计、ETL（Extract, Transform, Load）设计等。
负责数据仓库的日常运维和优化，确保数据仓库的稳定性和高效性。
数据整合与转换
负责从多个数据源中提取数据，并进行数据清洗、转换和加载，确保数据的一致性和准确性。
使用ETL工具或编写代码实现数据的自动化处理流程。
数据建模与设计
设计并构建数据仓库的数据模型，包括维度建模、事实表设计等，以支持复杂的查询和分析需求。
参与业务数据模型的规划和设计，确保数据仓库能够满足业务部门的分析需求。
数据质量与性能优化
监控数据仓库的数据质量，处理数据异常和冲突，确保数据的准确性和完整性。
对数据仓库进行性能优化，包括查询优化、索引优化、存储优化等，提升数据处理和查询的效率。
数据安全与权限管理
实施数据仓库的安全策略，包括访问控制和权限管理，确保敏感数据不被未经授权的人员访问。
遵守数据保护法规和公司政策，确保数据处理的合规性。
技术支持与培训
为业务部门提供技术支持，解答关于数据仓库的疑问和问题。
组织或参与数据仓库相关技术的培训，提升团队成员的技能水平。
二、任职要求
教育背景
计算机科学、数学、统计学或相关领域的本科及以上学历。
工作经验
具有2年以上大数据或数据仓库领域的工作经验。
有大型数据仓库建设、管理或优化经验者优先。
技术技能
熟练掌握Hadoop、Hive、HBase、Spark、Flink等大数据相关技术及其生态圈。
熟悉关系型数据库（如MySQL、Oracle）和非关系型数据库（如MongoDB、Redis）的设计和优化。
具备良好的SQL编程能力，能够编写高效的SQL查询语句。
熟悉ETL工具的使用和配置，如Informatica、Datastage、Kettle等。
熟练掌握Java、Python等编程语言，能够进行数据处理和分析的编程开发。
其他：
具备良好的沟通能力和团队合作精神，能够与不同部门的团队成员有效协作。
具备较强的学习能力和解决问题的能力，能够快速适应新技术和新环境。
对数据敏感，具有强烈的数据意识和数据驱动业务的思维。

岗位职责：
1.参与多个传统/新能源汽车的数据项目研发；
2.参与数据仓库架构设计与数据集市建设，通过数据+算法+工程化能力，处理和萃取数据，赋能业务与产品，建设EB级共享的数据平台；
3.负责数据平台相关数据管理和管理工作，如研发规范、质量规范、保障规范的制定与推动实施落地，元数据管理、数据质量检查、数据分级管理等系统的设计、开发及应用，提升数据易用性、可用性及稳定性；
4.快速输出并不断沉淀标准化的产品数据体系，让业务的数据化运营更加高效、便捷；
5.负责来自业务团队数据需求的研发支撑，如日志埋点、车联网数据、内部与外部数据的采集、数据同步、数据清洗与标准化、数据模型设计、离线数据处理、实时数据处理、数据服务化、数据可视化等；
岗位要求：
1.从事数据仓库领域工作至少5年以上，熟悉数据仓库模型设计方法论，并有实际模型设计及ETL开发经验；
2.熟悉Hadoop生态相关技术，如Hive、HBase、Spark、Flink、Elasticsearch、Iceberg、Trino、Doris等，有基于分布式数据存储与计算平台应用开发经验；
3.熟悉数据仓库领域知识和管理技能，包括但不局限于：元数据管理、数据质量、性能调优等 ；
4.有良好的汽车业务Sense，对数据业务场景非常敏感，能够横向协同，跨界整合资源，有效结合业务和技术创新，形成完整的数据解决方案，全局地规划或完善数据服务体系以解决业务/产品的问题；
5.掌握一门或多门编程语言优先，如Java、Python、SQL等；
6.掌握常用的数据分析工具、数据挖掘、机器学习算法是加分项；
7.具有大型跨部门的复杂数据项目实施经验；
8.热爱大数据，性格沉稳，有较好的语言表达能力，能自我驱动，有强烈的求知欲与进取心，有团队合作精神，敢于挑战。