spark开发工程师岗位职责

岗位职责：
1、负责项目的开发规划、数据建模设计、编码实现相关工作；
2、负责基于Spark技术的海量数据的处理、分析、统计、挖掘工作；
3、根据需求使用Hive或Spark SQL进行数据处理/查询/统计工作。
岗位要求：
1、计算机相关专业、本科及以上学历；
2、熟悉Scala、Python语言，至少1年Spark开发经验；
3、熟悉Hadoop生态，熟练使用Hive SQL解决各种业务需求；
4、熟悉Linux操作系统，具备Shell自动化运维脚本编写相关经验；
5、具备较强的学习、分析及动手解决问题能力，拥有良好团队协作能力。

1. 有微软Azure云平台编程经验

2. 有微软Fabric平台编程经验

3. 有Spark编程知识吗

4. Python / Notebook编程

5. PySpark编程

6. Java编程语言，具有面向对象编程知识

7. 数据库知识，包括关系数据库和非sql数据库。

8. 有使用工具的经验：Gitlab， Python单元测试，CICD管道。

9. 良好的故障排除技能

10. 熟悉敏捷。好沟通。

11. 良好的英语听说能力，能够沟通需求和开发任务/问题





[拥有更好]

1. Spark应用程序性能调优

2. 了解Docker / Kubenates

岗位职责：
（1）对海量数据的处理，需要涉及Hadoop，Spark，Kafka，Hbase等技术组件；
（2）关注开源技术动态，结合业务场景，寻找解决方案；
（3）不断解决规模增长带来的技术和业务问题，构造高度稳定可用的大数据分布式系统，支撑海量数据分析、数据挖掘、机器学习等场景。
任职要求：
（1）精通Hadoop、Spark/Streaming、Kafka、Flume、Hbase中至少两种；
（2）精通分布式并发编程；
（3）熟练使用java、scala、python等对数据进行分析和处理；
（4）有大数据行业背景，在大型互联网公司2年以上工作经验。