岗位职责
1.负责企业级数据仓库(数仓)的设计、建设与优化,基于业务场景构建分层架构(ODS/DWD/DWS/ADS),确保数据模型的合理性、可扩展性和高效性。
2.参与业务需求分析,将业务逻辑转化为数据模型设计,包括主题域划分、实体关系定义、指标体系构建,支撑数据分析与业务决策。
3.负责数据 ETL 流程开发与维护,基于 Hadoop、Spark、Flink 等技术栈实现数据抽取、清洗、转换、加载,保障数据质量与同步时效。
4.优化数仓性能,包括 SQL 调优、存储结构优化、计算资源配置,解决数据倾斜、任务延迟等问题,提升数据处理效率。
5.设计并维护数据指标体系,构建一致性维度和事实表,支撑下游数据产品(如 BI 报表、数据看板、业务系统)的数据需求。
6.与业务部门、数据分析师、算法团队协作,理解数据需求,提供高效的数据服务与技术支持,推动数据驱动业务落地。
7.制定数仓开发规范与流程,编写技术文档,推动团队标准化建设,保障数仓系统的稳定性与可维护性。
任职要求
1.本科及以上学历,计算机、大数据、统计学等相关专业,3 年以上大数据数仓设计与开发经验。
2.熟悉数据仓库建模理论(如星型模型、雪花模型、维度建模),有大型数仓分层架构设计经验,能独立完成主题域划分与模型设计。
3.精通 SQL,熟悉 Hive、Spark SQL 等数据处理工具,能熟练编写高效的 ETL 脚本,有复杂 SQL 调优经验。
4.掌握至少一种大数据计算框架(Spark/Flink),了解数据同步工具(如 Sqoop、DataX、Flink CDC),熟悉 Hadoop 生态组件(HDFS、YARN、HBase 等)。
5.了解数据质量管控方法,有数据清洗、异常值处理、数据一致性校验经验,能制定数据质量监控规则。
6.具备良好的业务理解能力和逻辑思维,能将业务需求转化为技术方案,有电商、金融、零售等行业数仓经验者优先。
7.具备良好的沟通能力和团队协作精神,有技术文档编写习惯,能承受一定的业务压力。
加分项
1.熟悉数仓自动化工具(如 Apache DolphinScheduler、Airflow)或元数据管理工具(如 Amundsen、Atlas)。
2.有实时数仓(Flink+Kafka)建设经验,了解流批一体架构设计。
3.熟悉 BI 工具(如 Tableau、Power BI、FineBI)的数据源设计与对接。
4.具备 Python/Scala 等编程语言开发能力,有 ETL 工具二次开发经验。