大数据运维工程师岗位职责

1. 确保es/starrocks/doris等olap集群的高可用性、高性能与成本效益，建立完善的监控、容灾机制及自动化、智能化运维体系
2. 制定系统运营关键指标，持续开展优化工作，提升系统的性能表现、运行稳定性和操作便捷性
3. 推进各组件使用规范的定制化设计并推动实施落地
4. 跟踪行业技术发展趋势，积极引入并实践新技术方案

任职资格：
1. 计算机相关专业本科及以上学历，具备3年以上中大规模es/clickhouse等olap引擎运维经验
2. 熟悉大数据技术生态，如hadoop、kafka、hive、hbase等，并对其中1-2个组件有深入理解与实际应用
3. 掌握shell/python/java中至少一门编程语言
4. 具备强烈的技术热情，善于深入分析并解决复杂技术问题，拥有一定项目管理经验，能有效推进优化方案执行
5. 有k8s/starrocks实际使用经验者优先
【工作内容】确保es/starrocks/doris等olap集群的高可用性、高性能与成本效益，建立完善的监控、容灾机制及自动化、智能化运维体系；制定系统运营关键指标，持续开展优化工作，提升系统的性能表现、运行稳定性和操作便捷性；推进各组件使用规范的定制化设计并推动实施落地；跟踪行业技术发展趋势，积极引入并实践新技术方案
【基本条件】计算机相关专业本科及以上学历，具备3年以上中大规模es/clickhouse等olap引擎运维经验；熟悉大数据技术生态，如hadoop、kafka、hive、hbase等，并对其中1-2个组件有深入理解与实际应用；掌握shell/python/java中至少一门编程语言；具备强烈的技术热情，善于深入分析并解决复杂技术问题，拥有一定项目管理经验，能有效推进优化方案执行；有k8s/starrocks实际使用经验者优先

工作职责
1.平台搭建和维护：负责Hadoop、zookeeper、spark、impala、hive、flink、doris等大数据组件的部署、运维及故障排查，涵盖集群管理与日常运维任务
2.集群性能优化：结合业务实际需求，调整Hadoop、zookeeper、spark、impala、flink、doris等框架的配置参数，提升系统运行效率与资源利用率
3.集群管理与文档整理：制定并持续更新Hadoop集群运维规范，包含变更日志、操作指南、应急预案等技术文档
4.安全与合规管理：落实Hadoop平台的数据安全策略、访问权限控制及相关合规要求，部署kerberos、freeipa等安全机制，确保系统稳定安全运行
5.监控体系建设与容量规划：搭建并维护集群监控体系，依据业务增长趋势进行资源评估与集群扩展规划
6.日常运维支持：承担应用系统的上线发布及日常维护工作
7.系统值守保障：参与夜间轮班，保障系统连续运行及批处理作业准时完成

任职要求
1.统招专科及以上学历，专业不限；
2.熟练使用Shell脚本（bash、Python等）实现自动化运维操作
3.熟悉Linux操作系统常用命令及系统管理
4.具备Hadoop、zookeeper、spark、impala、hive、flink、doris等大数据平台的实际部署与维护经验
5.具有大数据集群性能调优的基本能力
6.了解数据库管理知识，掌握Mysql数据库的安装配置、参数优化、备份恢复及运维策略
7.拥有5年以上相关领域工作经验；
8.具备良好的问题定位、沟通协调、自主学习、团队合作及责任心；
9.有大数据平台或人工智能系统运维经验者优先；
【工作内容】平台搭建和维护：负责Hadoop、zookeeper、spark、impala、hive、flink、doris等大数据组件的部署、运维及故障排查，涵盖集群管理与日常运维任务；集群性能优化：结合业务实际需求，调整Hadoop、zookeeper、spark、impala、flink、doris等框架的配置参数，提升系统运行效率与资源利用率；集群管理与文档整理：制定并持续更新Hadoop集群运维规范，包含变更日志、操作指南、应急预案等技术文档；安全与合规管理：落实Hadoop平台的数据安全策略、访问权限控制及相关合规要求，部署kerberos、freeipa等安全机制，确保系统稳定安全运行；监控体系建设与容量规划：搭建并维护集群监控体系，依据业务增长趋势进行资源评估与集群扩展规划；日常运维支持：承担应用系统的上线发布及日常维护工作；系统值守保障：参与夜间轮班，保障系统连续运行及批处理作业准时完成；
【基本条件】统招专科及以上学历，专业不限；熟练使用Shell脚本（bash、Python等）实现自动化运维操作；熟悉Linux操作系统常用命令及系统管理；具备Hadoop、zookeeper、spark、impala、hive、flink、doris等大数据平台的实际部署与维护经验；具有大数据集群性能调优的基本能力；了解数据库管理知识，掌握Mysql数据库的安装配置、参数优化、备份恢复及运维策略；拥有5年以上相关领域工作经验；具备良好的问题定位、沟通协调、自主学习、团队合作及责任心；有大数据平台或人工智能系统运维经验者优先；

岗位职责:
1、负责Hadoop/YARN/Spark/Flink/Hbase/Clickhouse等集群的部署、监控、扩容及故障处理;调优MapReduce/Tez查询性能(JVM参数/Shufle优化)
2实施Kerberos安全认证，管理Ranger权限体系;
熟悉HDFSBalancer/YARNCapacityScheduler调优，熟悉HBase;3、
4、掌握Linux系统eBPF性能分析、Systemd服务管理、SELinux安全加固;熟悉ansible。
任职要求:3年以上大数据平台专职运维经历。
2.精通Hadoop生态，精通HDFSBalancer/ARNCapacityScheduler调优，熱悉HBase;掌握Linux系统eBPF性能分析、Systemd服务管理、SELinux安全加固:
3.优先资格:持有ClouderaCCP/CDP、RedHatRHCA/KubernetesCKA认证;有PB级数据迁移经验(跨版本/跨集群)经验。
4.能编写技术文档(架构图/故障复盘报告)，具备跨部门协作推动能力;对运维自动化有极致追求，熟悉GitOps理念(ArgoCD/Tekton实践)"
【工作内容】1、负责Hadoop/YARN/Spark/Flink/Hbase/Clickhouse等集群的部署、监控、扩容及故障处理;调优MapReduce/Tez查询性能(JVM参数/Shufle优化)2实施Kerberos安全认证，管理Ranger权限体系;熟悉HDFSBalancer/YARNCapacityScheduler调优，熟悉HBase;3、4、掌握Linux系统eBPF性能分析、Systemd服务管理、SELinux安全加固;熟悉ansible。
【基本条件】3年以上大数据平台专职运维经历。2.精通Hadoop生态，精通HDFSBalancer/ARNCapacityScheduler调优，熱悉HBase;掌握Linux系统eBPF性能分析、Systemd服务管理、SELinux安全加固:3.优先资格:持有ClouderaCCP/CDP、RedHatRHCA/KubernetesCKA认证;有PB级数据迁移经验(跨版本/跨集群)经验。4.能编写技术文档(架构图/故障复盘报告)，具备跨部门协作推动能力;对运维自动化有极致追求，熟悉GitOps理念(ArgoCD/Tekton实践)。文化水平：大专及以上；身体素质：健康；健康程度：无职业禁忌。