大数据平台开发专家岗位职责

岗位职责：
1. 负责公司大数据平台（包括离线/实时平台，数据湖）的架构设计、搭建、优化与维护，确保平台具备高可用、高性能和良好的扩展性，满足业务持续增长的需求；
2. 主导数据平台的成本治理工作，包括构建容量模型、优化计算与存储资源使用效率等；
3. 构建全面的监控系统和快速响应机制，完善故障监控与质量保障体系，持续优化平台上线流程与系统稳定性；
4. 分析系统性能瓶颈，持续进行性能优化，如作业调优、存储优化、Flink作业稳定性保障等

任职要求：
1. 计算机、软件工程、数学、统计学等相关专业，3年以上Java或Scala研发经验；
2. 精通 Hadoop、Spark、Flink、Hive、Kafka、Hudi 等主流大数据组件，具备架构理解、性能调优与运维管理能力；
3. 5年以上大数据相关工作经验，含至少3年大数据集群运维经验或者数据开发平台经验；
4. 熟悉大数据平台全生命周期管理，有从0到1主导数据平台至少1个模块（调度系统、数据治理、实时平台等）的设计、上线和运维的成功经验；
5. 善于跨团队协作，能够为开发、数据治理、工程等团队提供技术指导与支持，推动项目高效落地；
6. 具备大模型工具使用经验，有将大模型应用于数据领域并实现数据提效的成功案例者优先

岗位职责
1.负责公司数据中台的整体技术架构设计、核心功能研发。
2.负责设计高可用、高性能、可扩展的数据平台架构，支撑农业农村领域（涵盖地理时空数据、遥感数据、物联网数据、业务系统数据、离线文件数据）的数据治理需求。
3.负责建立良性的数据架构，推动企业数据资产化、服务化，数据架构变革，提升数据驱动业务决策水平。
4.参与建设数据质量、元数据管理、数据安全及合规体系，确保数据全生命周期可控。
5.参与制定数据开发规范、处理脚本上线流程，提升企业数据治理水平，提升团队协作效率。

任职要求
1.本科及以上学历，8年以上大数据领域经验，3年以上技术架构、大型系统架构经验。
2.对多源数据集成、元数据管理、数据血缘、数据服务、数据开发、数据权限、数据资产管理等核心模块具备技术架构设计经验与关键功能研发能力。
3.精通K8s/Spark/Flink/DolphinScheduler/Hadoop/Doris/Presto/Pg集群等开源组件,对关键组件有深入理解。
4.具备百亿级以上数据平台规划、设计、开发经验。
5.对离线数仓、湖仓一体、流批一体等技术有深刻理解。
6.有开源社区贡献或技术影响力（如Apache项目Committer）优先。
7.熟悉时空数据治理、时空大数据优先。

工作职责:
1.负责数据开发与治理平台的行业趋势调研、技术选型和架构设计；
2.负责数据建模、离线数据开发、实时数据开发、数据治理等大数据治理平台核心组件的设计、开发和维护。

任职资格:
1.在大数据领域工作5年以上，具备丰富的大数据产品研发经历；
2.精通java语言, 熟悉spring boot等服务端开发框架；
3.熟悉dataworks、网易数帆等数据开发与治理平台，有数据开发与治理平台开发经验优先考虑；
4.熟悉Hadoop、spark、flink、doris、airflow、kafka等大数据组件的实现原理，有较强的问题故障排查能力，能够独立解决大数据组件的常见问题；
5.熟悉Datahub、Atlas等元数据管理系统，有元数据管理系统开发经验优先考虑；
6.具备很强的责任意识，自驱力，良好的沟通和团队协作能力，做事主动积极，勇于挑战高难度工作。