大数据平台开发岗位职责

1. 参与大数据组件运营系统的设计与开发工作；
2. 承担数据观测平台的架构规划、编码实现、代码评审、测试验证、灰度发布及上线维护等全流程研发任务，确保系统高可用与快速迭代；
3. 联动产品、技术支持等相关职能团队，协同推进项目高效落地；
4. 持续优化现有平台性能，提升故障排查效率与异常发现能力，为业务发展提供可靠技术支撑。

1. 计算机类相关专业本科及以上学历，具备5年以上大数据领域开发经验；
2. 熟练掌握Java、Golang或Python中至少一门编程语言，具有扎实的编码功底；
3. 熟悉Hadoop、Spark、Flink等主流大数据处理框架，有实际项目落地经验者优先考虑；
4. 具备较强的学习意识与协作意识，能在高强度环境下持续提升自我；
5. 深入理解常用数据结构与算法，拥有应对复杂技术问题的分析与解决能力。
【工作内容】参与大数据组件运营系统的设计与开发工作；承担数据观测平台的架构规划、编码实现、代码评审、测试验证、灰度发布及上线维护等全流程研发任务，确保系统高可用与快速迭代；联动产品、技术支持等相关职能团队，协同推进项目高效落地；持续优化现有平台性能，提升故障排查效率与异常发现能力，为业务发展提供可靠技术支撑。
【基本条件】计算机类相关专业本科及以上学历，具备5年以上大数据领域开发经验；熟练掌握Java、Golang或Python中至少一门编程语言，具有扎实的编码功底；熟悉Hadoop、Spark、Flink等主流大数据处理框架，有实际项目落地经验者优先考虑；具备较强的学习意识与协作意识，能在高强度环境下持续提升自我；深入理解常用数据结构与算法，拥有应对复杂技术问题的分析与解决能力。

岗位职责
1、包括实时数据采集计算、流式湖仓建设、现有平台架构调优、业务场景建模、数据产能提质增效。
2、应用场景：BI、OLAP、用户画像、群体分析、数据驱动等。
3、解决方案：基于Kafka、Flink的数据采集、流转、实时ETL平台建设；
基于Kyuubi、Trino、Doris、Hive、Hudi、Ceph、S3的流式湖仓建模、应用、维护；
4、Redis、MongoDB、ClickHouse、TiDB、Mysql等数据存储技术的应用。

技术能力：
1、SQL专家，精通复杂查询、性能优化、不同引擎SQL特性（必需）；
2、精通数仓与数据湖架构设计及业务建模（必需）；
3、熟悉ClickHouse、Doris、Trino、Kyuubi、Spark、Hive、S3等多类存储、计算引擎（必需）、掌握Python语言（必需）、掌握Kafka、Flink流计算平台、掌握Java/Scala语言
4、3年以上大数据研发工作

数据研发
岗位职责:
1、从事大数据产品的设计、开发、优化工作;根据业务需求，设计并实现数据技术方案;
2、开发基于spark、Flink等计算框架的离线/实时大数据处理程序;
3、调研大数据领域新技术;
4、数据服务开发。
岗位要求:
1、计算机、通信工程、数学、物理、统计等相关专业，本科及以上学历
2、熟悉linux系统，熟练掌握JAVA语言;
3、精通SQL开发,良好的SQL编写优化能力;
4、熟悉Hadoop生态，熟悉HDFS/Hbase/Hive，熟练掌握Spark或Flink程序开发;
5、熟悉OLAP、HBase、Codis、Kafka原理，并至少在一个实际项目中使用;
6、对AI相关的知识有一定的了解.
7、有较好的沟通交流能力，较强的抗压能力，责任心强。