大数据运维工程师岗位职责

岗位使命：负责云PaaS产品项目落地、部署实施与一线运维工作，排查处置生产环境故障，开展客户技术交流与培训，保障云平台稳定运行，支撑项目业务有序落地
岗位目标：深耕云PaaS产品运维与实施技术，熟练掌握相关组件部署运维技能，持续提升故障研判与问题处置能力，优化项目实施流程，精进综合服务与技术支撑能力
加入思特奇你将：
1、负责大数据hadoop、数据库MySQL、Redis等产品落地规划及部署交付；
2、负责大数据hadoop、数据库MySQL、Redis的监控、日常运维，自动化运维脚本或工具开发，提升运维效率和质量；
3、负责大数据hadoop、数据库MySQL、Redis的升级、扩容、迁移、参数调优等工作；
4、独立完成运维过程中问题定位、问题排查等相关工作，并总结沉淀成文档资产；
5、组织或参与运维自动化工具、可视化工具的开发，保证自动化运维过程可用可控；
6、通过运营工作，体现产品价值，维护客户稳定及产品粘性；
7、理解客户诉求，发现现场问题和痛点，提出改进方案，总结产品需求后输入研发，促进产品化水平提升；
8、与现场客户建立良好的互动关系，提升客户满意度；
如果你是：
1、熟悉数据库及相关原理，熟练掌握MySQL、Redis或熟悉大数据及相关原理，熟练掌握掌握Zookeeper、HDFS、HBase、YARN、Hive组件；
2、熟悉Linux操作系统，熟练使用SQL，熟练掌握shell脚本；
3、掌握Java或Python者优先；
4、能够熟练使用AI工具/模型辅助完成工作，具备借助AI能力提升工作效能的意识与实践经验;有AI模型二次开发或自主构建相关经验者优先
4、对其他关系型或列式数据库如（HBASE、PostgreSQL等）者加分；
5、有较强的学习能力，做事认真负责，思维严谨，吃苦耐劳；
6、有良好的团队意识，积极向上，追求卓越；
7、有较好的现场抗压力，维护现场客户关系，良好的沟通和表达能力；
8、有数据分析思维和能力者优先，有产品运营、客户运营经验者优先
期待心怀远大理想，不断追求卓越的您加入我们，与思特奇一起用软件改变世界！
思特奇——成立于1995年的中国信息化建设创领者和信息通信行业的*企业（股票代码：300608.SZ）；
在这里，我们立足自主可控、研发创新，凭借领先的5G、云、大数据、人工智能、物联网、区块链等新一代信息技术，为政府和企业客户提供全面的数字化转型和智慧运营服务；同时拥有思特奇研究院和未来科技研究院为自主研发和科研创新保驾护航；
【我们的宗旨】 Our Business Purpose
云、大数据、万物互联、人工智能和智慧运营时代，产品、技术、服务、运营的可信赖专家！
【我们的文化】Our Culture
员工与企业共同成长、企业与社会和谐发展
倡导开放、透明、无等级的沟通、无障碍的交流
谨慎稳健、诚信守诺、经验共享、团结合作
学习 思考 创新 行动 改进 成功
更多信息，请关注思特奇官网：http://www.si-tech.com.cn

工作职责：负责大数据平台离线和实时多种分布式计算和分布式存储相关工作，同时负责自研项目的开发与维护；
大数据平台架构升级：调研架构升级方案，使用开源高版本组件，提升平台扩展性、任务执行效率，节约资源成本。
大数据平台的研发：以平台研发手段，加强权限管控、增加行为审计、促进数据流转、数据安全并解放生产力。
大规模集群的运维：规划、调研、搭建、测试、升级、布署、监控，集群生态组件的调优和维护。
疑难问题的解决：针对全集团的ETL、数据开发、任务执行、服务接口等涉及的问题，提供解决方案，为业务保驾护航。
主要成绩：
数据中台架构升级：负责大数据平台数据中台架构升级工作，包含：升级方案调研、方案验证、风险评估、架构落地、数据迁移、任务迁移等。累计拉通上下游核心团队5个，升级核心组件10+，迁移数据量nPB，迁移任务1.6万，任务执行效率提升30%，节约硬件成本380w。
大数据集群运营：负责的6套离线大数据集群，4套实时集群，均能稳定、安全、高效的724小时运行。
自研平台：自主研发了大数据管理平台及接口服务平台，累计开发了9大核心模块，接入了审批和审计流程，加强了集群、用户、数据、任务等的高效管理。
业务支持：负责的数据体量达PB级别，管理机器结点200+，累计支持平台用户900+。
日常运营：针对数据计算、使用、核验、流转等各方面问题，及时给出大数据平台侧解决方案，受到需求方一致好评。
项目描述：在集团降本增效的背景下，本项目旨在提升大数据平台底层服务的执行效率，并降低大数据平台使用成本。通过升级大数据平台底层生态组件、数据迁移、任务迁移等路径，*终缩减物理机硬件使用成本。架构升级和任务迁移过程需保证生产业务的持续性和正确性。
项目职责：新架构方案调研及测试、迁移工具研发、数据迁移、任务迁移、跨团队拉通协同。
涉及技术：Python、Flask、Hadoop、Hive、Impala、Tez、Kyuubi、Kafka、Kylin、Starrocks、有数BI报表等。
项目业绩：
完成新的大数据平台建设，包含新平台技术架构选型、组件兼容性测试、组件执行效率测试、跨集群读写等；
完成迁移工具开发，包含数据远程拷贝、数据一致性校验、表结构一致性校验、表内容正确性校验、迁移过程状态报表开发等；
完成PB级数据迁移，万级任务迁移工作，为迁移过程出现的疑难问题提供技术支持；
拉通下游平台产品使用方，进行迁移过程产品或任务的验证测试，并持续推进迁移计划。

项目描述：本项目旨在降低大数据生态系统运营成本，提升平台运行效率，做到库表授权可追溯，用户操作可记录，运行任务可审计；根据相关需求，进行定制化开发，使用系统形式进行统一组织管理。
项目职责：独立负责项目调研、架构设计、研发、交付及维护等全流程工作。
涉及技术：Python、Flask、Hive、Impala、Kafka、MQ、LDAP、Mysql、Nginx、Https、Supervisor等。
项目业绩：
完成系统各模块研发，包括审批流模块、平台权限管理模块、Hive授权模块、开发上线管理模块、数据脱敏模块、数据服务模块、运维管理模块、审计管理模块、应用权限管理模块、任务迁移模块等。

1.负责公司营销系统(CRM)、移动端APP及报表系统的日常运维管理与故障处置，确保各系统安全、稳定、可靠运行。
2.负责监管报表平台的建设、日常维护与数据上报支持。
3.作为IT与前台业务部门的桥梁，深入理解业务场景，负责收集、梳理、评估业务部门对CRM、APP和报表系统的功能及数据需求，并转化为技术需求规范。
4.负责公司业务数据治理的专项工作，及时向各部门提供灵活的数据查询、咨询服务及相应的数据解决方案。
5.负责对接系统开发商，全生命周期跟进系统升级、缺陷修复及定制化开发项目，监督厂商的服务质量(SLA)，组织协调多方资源确保项目按时上线并做好运维交接。