工作职责
1.平台搭建和维护:负责Hadoop、zookeeper、spark、impala、hive、flink、doris等大数据组件的部署、运维及故障排查,涵盖集群管理与日常运维任务
2.集群性能优化:结合业务实际需求,调整Hadoop、zookeeper、spark、impala、flink、doris等框架的配置参数,提升系统运行效率与资源利用率
3.集群管理与文档整理:制定并持续更新Hadoop集群运维规范,包含变更日志、操作指南、应急预案等技术文档
4.安全与合规管理:落实Hadoop平台的数据安全策略、访问权限控制及相关合规要求,部署kerberos、freeipa等安全机制,确保系统稳定安全运行
5.监控体系建设与容量规划:搭建并维护集群监控体系,依据业务增长趋势进行资源评估与集群扩展规划
6.日常运维支持:承担应用系统的上线发布及日常维护工作
7.系统值守保障:参与夜间轮班,保障系统连续运行及批处理作业准时完成
任职要求
1.统招专科及以上学历,专业不限;
2.熟练使用Shell脚本(bash、Python等)实现自动化运维操作
3.熟悉Linux操作系统常用命令及系统管理
4.具备Hadoop、zookeeper、spark、impala、hive、flink、doris等大数据平台的实际部署与维护经验
5.具有大数据集群性能调优的基本能力
6.了解数据库管理知识,掌握Mysql数据库的安装配置、参数优化、备份恢复及运维策略
7.拥有5年以上相关领域工作经验;
8.具备良好的问题定位、沟通协调、自主学习、团队合作及责任心;
9.有大数据平台或人工智能系统运维经验者优先;
【工作内容】平台搭建和维护:负责Hadoop、zookeeper、spark、impala、hive、flink、doris等大数据组件的部署、运维及故障排查,涵盖集群管理与日常运维任务;集群性能优化:结合业务实际需求,调整Hadoop、zookeeper、spark、impala、flink、doris等框架的配置参数,提升系统运行效率与资源利用率;集群管理与文档整理:制定并持续更新Hadoop集群运维规范,包含变更日志、操作指南、应急预案等技术文档;安全与合规管理:落实Hadoop平台的数据安全策略、访问权限控制及相关合规要求,部署kerberos、freeipa等安全机制,确保系统稳定安全运行;监控体系建设与容量规划:搭建并维护集群监控体系,依据业务增长趋势进行资源评估与集群扩展规划;日常运维支持:承担应用系统的上线发布及日常维护工作;系统值守保障:参与夜间轮班,保障系统连续运行及批处理作业准时完成;
【基本条件】统招专科及以上学历,专业不限;熟练使用Shell脚本(bash、Python等)实现自动化运维操作;熟悉Linux操作系统常用命令及系统管理;具备Hadoop、zookeeper、spark、impala、hive、flink、doris等大数据平台的实际部署与维护经验;具有大数据集群性能调优的基本能力;了解数据库管理知识,掌握Mysql数据库的安装配置、参数优化、备份恢复及运维策略;拥有5年以上相关领域工作经验;具备良好的问题定位、沟通协调、自主学习、团队合作及责任心;有大数据平台或人工智能系统运维经验者优先;