大数据平台开发岗位职责

岗位职责
1、包括实时数据采集计算、流式湖仓建设、现有平台架构调优、业务场景建模、数据产能提质增效。
2、应用场景：BI、OLAP、用户画像、群体分析、数据驱动等。
3、解决方案：基于Kafka、Flink的数据采集、流转、实时ETL平台建设；
基于Kyuubi、Trino、Doris、Hive、Hudi、Ceph、S3的流式湖仓建模、应用、维护；
4、Redis、MongoDB、ClickHouse、TiDB、Mysql等数据存储技术的应用。
技术能力：
1、SQL专家，精通复杂查询、性能优化、不同引擎SQL特性（必需）；
2、精通数仓与数据湖架构设计及业务建模（必需）；
3、熟悉ClickHouse、Doris、Trino、Kyuubi、Spark、Hive、S3等多类存储、计算引擎（必需）、掌握Python语言（必需）、掌握Kafka、Flink流计算平台、掌握Java/Scala语言
岗位要求：
1、本科211/985学历优先；
2、近5年3年以上大数据研发经验；

工作职责：
1、参与自动驾驶数据中台、数据仓库多维模型、报表体系的设计与建设；
2、负责大规模海量数据的特征提取、统计计算、数据分析和数据挖掘；
3、负责数据体系相关数据的抽取、清洗、转换、服务、接口对接等工作，提供数据服务和逻辑说明；
任职要求：
1. 硕士及以上学历，自动驾驶相关工作经验3年以上；熟悉自动驾驶数据闭环数据特征，精通数据仓库建模理论，有3年以上数据仓库建设经验；
2. 熟悉Hadoop/Spark/Flink/Presto/Hive/Kafka/Flume等大数据技术框架，具有丰富的使用经验；
3. 熟悉数据仓库理论方法及ETL相关技术，对于数据的架构和设计有一定的思考，具备良好的数学思维和建模思维；
4. 业务理解力强，对数据敏感，具有自动驾驶行业、汽车行业数据相关经验优先；

工作职责
1.负责多模态数据开发治理平台、指标平台、智能数据应用的研发与迭代，参与平台智能化能力建设；
2.负责数据开发治理平台架构设计、核心功能开发与维护，包括数据建模、离线/实时数据开发、数据治理、元数据管理等核心模块，推进数据存储组件云原生化演进，支撑 PB 级数据治理与存储场景；
3.负责 JuiceFS 在大数据与 AI 场景下的应用落地，参与存算分离大数据平台架构设计与建设;
4.负责数据湖、湖仓一体等技术研究与落地，跟踪数据开发治理领域技术趋势，完成技术选型与架构设计。
任职资格
1.本科及以上学历，在大数据领域工作5年以上，重点有丰富的数据开发治理平台/指标平台/数据中台的开发经验；
2.熟悉主流Hadoop、JuiceFS、Spark、Flink、Doris、Airflow、Starrocks、Fluss等大数据组件的实现原理，熟悉大数据组件的性能调优，有较强的问题故障排查能力；
3.熟悉Paimon、Iceberg等数据湖技术，有湖仓一体、存算分离架构实践经验优先；
4.精通Java/Python等至少一种编程语言，熟悉 Spring Boot、langchain等开发框架，了解 Kubernetes 架构与使用；
5.熟悉元数据管理系统（如 Datahub、Atlas），有元数据、数据标准、数据质量开发经验优先；
6.有指标平台、数据智能应用、智能DataOps、多模态数据处理相关项目经验者优先；
7.具备很强的责任意识，自驱力，良好的沟通协作能力，做事主动积极，勇于挑战高难度工作。