大数据运维岗位职责

岗位职责：
1、负责大数据平台的部署及日常维护，熟悉hadoop组件的配置与调优；
2、负责大数据平台的巡检、故障排除、保证hadoop集群服务高效、稳定运行；
3、负责大数据平台和相关基础设施的监控开发和部署，参与建设大数据运维、监控和管理平台。
岗位要求：
1.本科及以上学历，两年以上大数据运维经验；
2.熟悉大数据平台相关技术，至少掌握sql/python/shell中的一种语言；
3.有开源hadoop集群或CDH集群的实际搭建经验，会一定集群调优；
4.大数据平台组件包括hadoop、hive、kafka、hbase、 spark、zookeeper等；

工作职责
1.负责大数据平台搭建，运维，监控和优化工作，包括但不限于异常问题定位、故障处理、技术文档编写等;
2.负责新技术探索研究，协助不断优化大数据平台架构、完善平台功能。
3. 设计、梳理和优化现有数据库缓存（redis、memcached）和关系型数据库（MySQL）架构
4. 负责数据库的日常操作、配置、监控、灾难恢复和管理
任职要求:
1.*学历要求一类本科及以上，计算机相关专业，有软件设计师等开发相关资质证书的优先;
2.3年以上大数据平台运维经验，2年以上Mysql数据库运维经验，了解数据中台相关知识;
3.熟练使用Linux系统，熟悉Vim、Git等工具，具备对CDH开源Hadoop平台的使用及运维经验;
4.熟悉主流大数据开源组件，如Doris、Hadoop、Hive/Spark/Flink等；有二次开发经验者优先;
5.熟悉MySQL数据库结构与原理、数据结构设计、性能调优和日常故障解决方法
6.善于沟通，工作积极主动，责任心强，具备良好的团队协作能力

职责描述：1.负责大数据平台的部署、管理和维护，跟进大数据技术发展方向；2.参与大数据分布式应用系统开发工作（需求开发、故障解决和性能优化等）；3.参与业务系统运维监控系统的开发工作，提高运维工作的自动化程度；4.协助完成其他团队工作任职要求：1.熟悉程序设计和架构的基本思想，有代码实践和熟悉不同业务场景架构设计的加分。2.熟悉 Linux 操作系统，对 Linux 系统和网络层有着较为深刻的理解和掌握能力。3.熟悉一种或者多种大数据生态技术（ Hadoop 、 Flume ， Kafka 、 Hbase 、 Spark 、 Storm 、 Flink 等），有云平台运维经验；4.有大规模运维能力、或有对重项目组织技术护航保障经验者优先；5.喜欢钻研技术，工作积极主动，坚持不懈。