大数据存储工程师岗位职责

岗位职责：
1. 负责大数据底层存储组件的运维、部署、管理、扩容和优化等，保障服务的稳定性和可用性，发现并解决性能瓶颈等

2. 支持各类业务对大数据组件的使用需求，并帮助业务方进行一些技术选型；

3. 推进自动化运维平台的建设，提升运维工作效率

岗位要求
1. 熟悉Hadoop/Elastic生态圈，对Elasticsearch 、HBase、Hive、Kafka、Zookeeper、yarn等主流分布式开发套件有一定认识，有相关安装部署运维、调优经验者优先；

2. 熟悉Linux类操作系统的基础命令操作，能够编写脚本开展日常运维工作， 至少会使用一种自动化部署工具： ansible， puppet， saltstack 等

3. 熟悉Golang/Python/Java/中至少一门语言，有相关开发经验优先

加分项
有hadoop、kafka等源码开发经验；
有个人技术博客。

【直招，业务方向开发也可推荐】

负责跨境大数据分布式存储系统(HDFS etc.)的架构设计及研发⼯作。设计并开发业界领先的超⼤规模分布式统⼀存储系统，⽀撑数据仓库，搜索，⼴告，推荐，深度学习平台，实时计算等业务的稳定运⾏。

1. 主导超⼤规模的下⼀代分布式元数据存储服务的设计⼯作。设计开发⽅案解决多租户场景下的统⼀命名空间⽬录树的扩展性、性能、平衡性、稳定性等问题；

2. 带领团队重新设计及改造开源HDFS系统，以解决10k+集群规模下的NameNode性能及内存瓶颈问题，数据层热点，稳定性，⼀致性等挑战，提升扩展性以⽀持数据及集群规模的⾼速增⻓；

3. 与上层应⽤团队深度合作，针对⼤规模查询引擎，深度学习平台等应⽤场景进⾏深度定制设计及优化，共同解决超大数据规模下的性能及稳定性挑战；

4. 与IDC团队深度合作，参与存储与⽹络领域软硬件结合(RDMA/SPDK/NVMe-oF etc.)的⼯程创新探索, 设计开发底层OS及硬件友好的⾼性能存储系统。

任职要求
1. 主导过⼤规模线上分布式系统的设计研发⼯作，熟悉了解业界前沿分布式存储系统的架构设计⽅案及design tradeoff；

2. 拥有1年以上分布式系统，存储系统或数据库相关研发经验，熟悉分布式系统相关理论，如Paxos/Raft等；

3. 熟练使⽤Java或C/C++，有多线程、异步编程经验，有扎实的算法基础，熟悉常⻅的数据结构。

加分项
1. 参与过开源软件开发，为开源社区贡献过patch者优先；

2. 在系统领域顶级会议 (OSDI/SOSP, USENIX ATC, USENIX FAST, Eurosys, VLDB, etc.) 发表过论⽂者优先。

职位描述
1. 参与大规模异构数据存储产品的研发和设计，负责存储产品相关功能的设计、优化和维护
2. 参与大规模存储日常的自动化管控设计，优化并维护相关组件的可用性
3. 收集上下游使用过程中的各类缺陷并制定改进方案，支撑应用安全高效使用，并实现高质量、高效率发布

职位要求
1. 本科及以上学历，3-5年工作经验，数据类，信息技术类专业优先
2. 熟悉大型分布式存储系统的架构和技术原理，具备业务需求分析能力，并给出对应的解决方案
3. 熟悉开源大数据生态系统，如HBase、HDFS、Kafka的原理、架构和应用
4. 熟悉C/C++/Java等编程语言，掌握网络编程和多线程编程，参与研发，完成产品落地
5. 有较强的自我驱意识，具备良好的的问题分析和沟通能力

具备如下经验者优先:
1. 参与过PB级分布式存储系统的研发
2. 具备大规模存储集群的调优、故障排查及日常运维等实战经验者