数据平台架构师岗位职责

工作职责
1、负责参与公司数据中台的统一调度平台、实时数仓平台、离线数仓平台、资产管理平台、OLAP、数据湖等平台建设，为海量数据和业务系统提供可靠的业务能力支撑。
2、负责大数据平台的基础工具和平台的研发和维护;
3、大数据前沿开发技术的研究和推广。
任职资格
1、工科、计算机、统计或其它相关专业本科及以上学历，5年以上开发经验，2年以上大数据相关研发和运维经验;
2、理解Java运行时工作原理，熟悉jvm性能调优，熟练掌握并发编程，并熟练掌握Java相关开发技术和工具;
3、熟练掌握Spring/Spring Boot/MyBatis等主流开发框架及其运行机制；
4、熟悉Hadoop平台开源产品的架构、运维、调优，开源产品包括不限于hdfs、yarn、flink、spark、hbase、hive等;
5、熟悉Hadoop平台开源产品的实际应用业务场景；
6、深度理解软件工程，具备分布式、高性能等开发经验，有过大数据平台开发经验者优先;
7、肯钻研，能抗压，有较强的解决问题和沟通协调的能力。

一、岗位职责：
（1）设计并构建基于开源技术的大数据平台整体架构，融合湖仓一体化理念，实现数据的高效存储与管理，确保平台具备高可用性、可扩展性和高性能；
（2）主导大数据平台技术规划、技术选型、架构设计、技术演进并保障系统稳定以及时效要求；
（3）主导数据平台的独立研发工作，负责系统架构设计、技术选型和开发指导，实现数据资产的统一管理、数据服务的高效提供以及数据治理的有效实施；
（4）负责大数据平台的性能优化和监控，及时发现并解决系统性能瓶颈和故障，保障平台稳定运行；
（5）与数据团队、算法团队、治理团队、业务部门紧密合作，提供技术指导和支持，确保大数据平台与业务需求紧密结合，推动项目的顺利实施；
二、任职要求：
（1）本科以上学历，数学、统计、计算机相关专业优先，5年或以上数据平台开发相关工作经验；
（2）具备大数据平台架构设计能力，深入了解大数据生态相关组件，熟悉Hadoop、Flink、Spark、Doris/Starrocks等技术，有大数据架构搭建相关经验者优先；
（3）具备离线与实时数据仓库设计和开发经验，熟练掌握 ETL/ELT 工具和技术；
（4）了解 AI 算法，熟悉数据治理、元数据管理、数据质量、主数据管理技术技术，能够为 AI 应用提供数据支持；
（5）具备良好的系统分析和设计能力，能够解决复杂的技术问题；具备优秀的团队协作和沟通能力，能够有效推动跨部门合作；具备较强的学习能力和创新意识，关注大数据技术发展趋势，不断探索新技术在公司业务中的应用；

工作职责
1. 结构化数据服务平台建设
自动化集群部署：设计和实现数据库集群（如MySQL、PostgreSQL、Oracle高可用架构）的快速部署、自动化扩缩容与配置管理。
自服务门户：建设内部平台，让业务方可以自助申请、创建、监控和管理自己的数据库实例。
高可用与容灾：为每个数据库实例提供默认的高可用方案（如自动故障切换）和备份恢复机制（如定时快照、Binlog备份）。资源隔离与配额管理：实现CPU、内存、存储和连接数的资源限制与监控，防止单一服务过度消耗资源影响其它服务。
2.非结构化文件服务平台建设
主导非结构化数据存储架构规划，设计整合对象存储、文件系统等混合存储方案
构建高可用分布式存储集群，设计数据冗余策略和跨区域容灾方案
确保平台具备弹性扩展能力，满足业务快速增长需求
提供标准化的S3、NFS等访问协议，确保与各业务系统无缝集成
3.大数据基础平台建设
实时分析平台：设计基于 Apache Flink 的流处理管道。选择合适的实时OLAP数据库（如 ClickHouse、 Apache Doris）。
离线分析平台：构建基于 Apache Spark、Hive、Tez 的大规模分布式批处理集群，与资源调度器（如 YARN、 Kubernetes）紧密集成，高效管理集群资源。
交互式查询：架构和优化OLAP引擎，如 Presto / Trino、 Apache Druid、 ClickHouse，设计湖仓一体架构，使查询引擎能直接、高速地分析数据湖（S3）中的数据。
任职资格
1.结构化数据服务能力：精通主流数据库（MySQL/PostgreSQL/Oracle）的高可用架构、自动化运维与平台化建设，具备资源隔离与容灾备份设计经验。
2.非结构化数据架构能力：掌握对象存储与文件系统，能设计高可用、可弹性扩展的分布式存储集群及跨区域容灾方案。
3.大数据平台技术栈：具备构建实时（如Flink）、离线（如Spark/Hive）及交互式查询（如Presto/ClickHouse）数据处理平台的能力，熟悉湖仓一体架构。
4.平台化与自动化思维：擅长通过自服务门户、自动化部署与资源管理，提升数据基础设施的效率和资源治理水平。