大数据平台工程师岗位职责

职责描述：
1、大数据平台的基础技术规划，编制相关规范文档
2、大数据平台的数据采集、处理、存储以及挖掘分析的架构实现
3、大数据平台的实际规划建设，包括环境和框架的规划搭建以及部分核心编码工作
4、参与业务需求调研，根据需求及行业特点设计大数据解决方案并跟进具体实施项目.
任职要求：
1、本科或以上学历，3年以上大数据架构设计经验
2、熟悉大数据解决方案包括Hadoop、Spark、Storm、Kafka
3、深刻理解大数据处理(流计算、分布式计算、分布式文件系统、分布式存储等相关技术和实现方法，有架构和设计实践经验
4、熟练使用Python/Go/Java等语言之一进行开发处理，可以进行数据模型的设计、开发；
职位福利：交通补助、餐补、通讯补助、采暖补贴、带薪年假、补充医疗保险、试用期全额、定期体检

岗位职责
1.设计并构建基于开源技术的大数据平台整体架构，融合湖仓一体化理念，实现数据的高效存储与管理，确保平台具备高可用性、可扩展性和高性能。
2.主导数据中台的独立研发工作，负责系统架构设计、技术选型和开发指导，实现数据资产的统一管理、数据服务的高效提供以及数据治理的有效实施。
3.主导大数据平台技术规划、技术选型、架构设计、技术演进并保障系统稳定以及时效要求
4.设计并搭建离线与实时数据仓库，优化数据 ETL/ELT 流程，保障数据的准确性、完整性和时效性，满足公司不同业务场景下的数据分析需求。
5.构建数据与 AI 的桥梁，设计数据架构和算法框架，为 AI 模型训练提供高质量的数据，助力 AI 应用在公司业务中的深度落地。
6.调研、评估和引入适合公司业务需求的开源大数据技术和工具，如 Hadoop、Spark、Flink、Kafka、Iceberg 、Dolphinscheduler等，持续优化平台技术栈。
7.与数据开发团队、AI 算法团队、业务部门紧密合作，提供技术指导和支持，确保大数据平台与业务需求紧密结合，推动项目的顺利实施。
8.负责大数据平台的性能优化和监控，及时发现并解决系统性能瓶颈和故障，保障平台稳定运行。
9.基于传统汽车行业相关业务场景，分析大数据架构领域的当前趋势并提供合理的建议
任职要求
1.计算机科学、软件工程等相关专业本科及以上学历。
2.8年以上大数据平台架构设计与开发经验，有成功搭建大数据平台的项目经验。
3.精通 Hadoop、Spark、Flink 、Hive、Kafka、Doris/SratRocks等开源大数据技术栈，熟悉其原理、架构和应用场景。
4.深入理解湖仓一体化架构，熟悉 Iceberg、Hudi 等湖仓一体存储格式和相关技术。
5.具备离线与实时数据仓库设计和开发经验，熟练掌握 ETL/ELT 工具和技术。
6.熟悉数据治理、元数据管理、数据质量、主数据管理技术
7.了解 AI 算法和模型，熟悉数据预处理、特征工程等技术，能够为 AI 应用提供数据支持。
8.熟练掌握至少一种编程语言，如 Java、Python、Scala 等。
9.具备良好的系统分析和设计能力，能够解决复杂的技术问题；具备优秀的团队协作和沟通能力，能够有效推动跨部门合作；具备较强的学习能力和创新意识，关注大数据技术发展趋势，不断探索新技术在公司业务中的应用。

岗位职责
1.设计并构建基于开源技术的大数据平台整体架构，融合湖仓一体化理念，实现数据的高效存储与管理，确保平台具备高可用性、可扩展性和高性能。
2.主导数据中台的独立研发工作，负责系统架构设计、技术选型和开发指导，实现数据资产的统一管理、数据服务的高效提供以及数据治理的有效实施。
3.主导大数据平台技术规划、技术选型、架构设计、技术演进并保障系统稳定以及时效要求
4.设计并搭建离线与实时数据仓库，优化数据 ETL/ELT 流程，保障数据的准确性、完整性和时效性，满足公司不同业务场景下的数据分析需求。
5.构建数据与 AI 的桥梁，设计数据架构和算法框架，为 AI 模型训练提供高质量的数据，助力 AI 应用在公司业务中的深度落地。
6.调研、评估和引入适合公司业务需求的开源大数据技术和工具，如 Hadoop、Spark、Flink、Kafka、Iceberg 、Dolphinscheduler等，持续优化平台技术栈。
7.与数据开发团队、AI 算法团队、业务部门紧密合作，提供技术指导和支持，确保大数据平台与业务需求紧密结合，推动项目的顺利实施。
8.负责大数据平台的性能优化和监控，及时发现并解决系统性能瓶颈和故障，保障平台稳定运行。
9.基于传统汽车行业相关业务场景，分析大数据架构领域的当前趋势并提供合理的建议
任职要求
1.计算机科学、软件工程等相关专业本科及以上学历。
2.8年以上大数据平台架构设计与开发经验，有成功搭建大数据平台的项目经验。
3.精通 Hadoop、Spark、Flink 、Hive、Kafka、Doris/SratRocks等开源大数据技术栈，熟悉其原理、架构和应用场景。
4.深入理解湖仓一体化架构，熟悉 Iceberg、Hudi 等湖仓一体存储格式和相关技术。
5.具备离线与实时数据仓库设计和开发经验，熟练掌握 ETL/ELT 工具和技术。
6.熟悉数据治理、元数据管理、数据质量、主数据管理技术
7.了解 AI 算法和模型，熟悉数据预处理、特征工程等技术，能够为 AI 应用提供数据支持。
8.熟练掌握至少一种编程语言，如 Java、Python、Scala 等。
9.具备良好的系统分析和设计能力，能够解决复杂的技术问题；具备优秀的团队协作和沟通能力，能够有效推动跨部门合作；具备较强的学习能力和创新意识，关注大数据技术发展趋势，不断探索新技术在公司业务中的应用。