java大数据开发岗位职责

初中高级均可
1.熟悉Linux操作系统，掌握Java、Python、Shell等开发语言，精通spring-cloud、springboot等开发框架，熟悉微服务开发，掌握至少一种主流国产数据库，熟悉大数据相关技术和组件（如flink、spark、hive等），
2.具备较好的技术问题解决经验；精通系统性能瓶颈诊断、性能测试和调优方法及工具；
3.具备较好的研发工作协调能力和较好的学习能力；
(1)孰练掌握Python、shell、Hive、Spark等一种或多种编程语言；
(2)熟悉ES、Hbase等NoSQL数据库应用，或熟悉在主流商业分布式数据库组件如Sequoia DB、GaussDB、TiDB、GoldenDB等，掌握hadoop、Flink、Storm等数据加工及处理机制，能够遵循数据处理要求对海量数据进行处理。
(3)熟练掌握基于大数据生态圈的可视化工具的使用和开发实施等。
(4)具备数学、统计学相关知识，具有数据分析项目经验，能够与业务人员进行需求讨论，根据业务需求制定数据分析方案。熟练掌握Excel使用及SQL语言，掌握R、Python等至少一种统计分析软件，能够进行数据分析结果可视化。
(5)熟悉大数据平台数据产品，掌握软件项目管理过程质量及进度管控方法、需求分析方法，能够进行项目规划、需求控制、进度控制、风险管理等。
(6)在风控领域具备1年以上工作经验

精通 Java 及常用开发框架（Spring Boot / MyBatis 等），理解多线程、并发编程、JVM 原理；
熟练掌握 SQL 编写与性能调优，精通至少一种主流关系型数据库（如 PostgreSQL、MySQL）；
熟悉 大数据生态技术栈，如 Hadoop、Hive、Spark、Flink、HBase、ClickHouse、Kafka 等；
有复杂数据模型设计与数据处理任务开发经验，熟悉数据仓库建设方法论；
了解数据分区、分桶、索引、并行计算、冷热分层等数据库性能优化手段
兼顾数据开发、Java开发两项技能，数据开发相关要求不需要特别高，能够掌握基本的批处理任务开发、维护技能即可

1. 熟悉Hive、Spark、HBase、Kafka等组件
2. 理解分布式系统概念、思想，扎实的编程基础，熟悉Hadoop(HDFS/MapReduce/Hive/HBase)、Spark、Kafka、Flume等类框架两种以上
3. 熟悉Java、python至少一种开发语言