大数据平台专家岗位职责

招聘职位：数据平台研发专家
所属部门： 数据平台部 - 基础架构组
工作地点： [北京/上海/郑州]
职位类型： 全职
关于我们
我们正在面临数据规模与复杂性的指数级增长。现成的SaaS工具和云上托管服务已无法满足我们对性能、成本和自主可控的极致要求。我们决定，亲手打造下一代数据平台的核心引擎。
这不是一个简单的ETL开发岗位。这是一个从无到有的创造过程。你需要从*行代码、*个设计图开始，构建一个能承载公司未来五年数据野心的核心基础设施。如果你厌倦了“调参”和“使用”，渴望“定义”和“创造”，这里是你理想的战场。
职位描述
你将作为核心架构师与奠基者，主导或深度参与公司级数据平台中*核心的OLAP查询引擎与端到端埋点数据体系的自主设计、研发与落地。你的产出将不是一个应用，而是一个平台、一个服务、一套标准。
核心职责：
1. 从0到1自建高性能OLAP查询引擎（核心方向）：
- 内核级开发： 基于 ClickHouse 或其他开源OLAP内核（如Doris/StarRocks），进行深度二次开发与定制。这可能包括但不限于：开发新的表引擎、优化查询优化器、设计存储格式、实现特定的聚合函数或索引结构，以完美适配公司特有的数据模式和查询负载。
- 集群架构设计与实现： 并非简单部署，而是自主设计分布式架构。包括多租户资源隔离、计算存储分离、弹性扩缩容、跨数据中心复制与查询路由等核心子系统。
- 与计算引擎深度集成： 打通 Spark/Flink 与自建OLAP引擎，设计高效的数据写入、更新与读取接口，实现批流一体数据无缝入仓。
2. 从0到1自建埋点数据采集与治理平台：
- 自主开发数据采集SDK/Agent： 针对Web、App、服务端等不同端，设计并实现高性能、高可靠、低侵入的埋点采集客户端，处理数据压缩、加密、缓存、批量上报等底层细节。
- 构建可编程的数据收集网关： 开发高吞吐、可扩展的数据接收服务，实现实时数据解析、清洗、路由与分发，并能动态配置数据管道逻辑。
- 打造埋点管理元数据中枢： 设计并开发一个统一的管理平台，用于埋点事件的定义、审核、上下线、版本管理、数据质量监控和血缘追溯，实现埋点数据的“资产化”治理。
3. 平台化与工程化建设：
- 打造自助数据服务平台： 为数据开发者和分析师提供从数据接入、开发、测试、发布到运维监控的一站式平台化工具。
- 建立核心监控与运维体系： 为自建的系统设计全方位的监控指标（性能、资源、数据质量）、告警策略和自动化运维工具。
职位要求（我们寻找的是“建造者”）
硬性要求（必须项）：
- 5年以上大数据领域研发经验，至少2年专注于数据平台底层核心组件的研发或深度定制，有从0到1主导中型以上数据平台子系统搭建的成功经验。
- 精通 ClickHouse 或 Doris/StarRocks 等开源OLAP引擎的内核原理，阅读过其核心模块源码，并有实际的内核模块开发、性能优化或重大BUG修复经验。
- 杰出的系统编程能力，熟练掌握 Java/Scala/Python，对JVM、多线程、网络编程、分布式系统理论有深刻理解。必须能写出生产级别的、高性能、高并发的基础服务代码。
- 深入理解列式存储、向量化执行、MPP查询架构等OLAP核心技术。对数据库查询优化、索引、数据结构有浓厚兴趣和扎实功底。
- 有大规模、高并发数据服务（如自建网关、RPC服务、Agent）的设计与开发经验，能处理日千亿级数据吞吐。
优先考虑（加分项）：
- 在ClickHouse/Doris/StarRocks等开源社区有提交记录（Commit） 或成为Committer。
- 有开发过数据采集SDK、ETL引擎、任务调度系统、元数据管理系统等数据基础设施的经验。
- 精通Kubernetes，有在K8s上自研Operat来部署和管理有状态大数据服务的经验。
- 熟悉云原生数据架构，对对象存储、服务网格、可观测性有实践经验。
- 具备出色的技术规划、文档编写和技术布道能力。

---
我们提供
基础保障：五险一金
假期福利：带薪年假、带薪病假、法定节假日、节日福利
职业发展：完善的培训体系与双通道晋升机制，定期技术分享与外部培训机会
工作环境：舒适的办公环境，弹性工作制，扁平化管理
员工关怀：定期团建、部门活动
五、我们期待您
对技术有热情，有持续学习的意愿和能力
有良好的团队合作精神和主人翁意识
能够深入理解业务需求，从技术角度提出建设性意见
注重代码质量，有追求卓越的工作态度
认同公司文化，愿意与团队共同成长

1、计算机相关专业本科及以上学历，大数据相关工作5年以上；（名校或大厂经验可放低到3年）
2、熟悉hadoop生态，对hdfs,yarn,spark,hive,hbase,flink,doris,hudi等一种或多种组件架构和原理有深入的了解；
3、有过集群性能优化、故障排查、源码优化、版本升级等经验，管理过大规模集群；
4、有较强的系统问题分析经验和能力，能够解决复杂的系统问题；
5、良好的客户服务意识，良好的沟通能力，积极主动、自驱力强，有责任心。

加分项：
有大型上云项目经验优先;
熟悉大数据组件源码优先，社区有贡献者优先；

岗位职责
1、 负责大数据产品toB客户相关poc及迁移工作；
2、 负责大数据相关组件性能优化等工作；
3、 协助解决客户各种大数据组件的技术问题；

base 武汉-中建科技产业园

1、负责数据平台的整体架构设计与演进规划，主导核心模块（计算引擎、存储引擎、调度系统、数据湖等）的架构升级，保障平台的高性能、高可用与可扩展性；
2、深度参与大数据基础组件的开发、源码优化及自研工作，解决海量数据场景下的性能瓶颈与稳定性问题；
3、跟踪大数据领域前沿技术（Lakehouse、Data Mesh、AI4DB等），引入创新方案，提升研发效率与资源利用率，推动技术降本增效；
4、深入理解业务场景，主导数据平台功能的设计与开发，高效支撑业务数据需求，保障交付质量；
5、建立完善的SLA保障体系，对数据采集、加工、分发、服务全链路进行性能诊断与优化，解决数据延迟、数据倾斜、资源争抢等问题，持续提升平台稳定性与可用性；
6、建设一站式数据研发平台，涵盖数据集成、开发、调度、治理、服务等全生命周期，提升数据资产化效率。
【任职要求】
1、基础能力：本科及以上学历，计算机、数学等相关专业，5年以上大数据开发经验，具备扎实的计算机基础和分布式系统理论。精通Java/Scala/Python中至少一种语言，具备优秀的源码阅读与重构能力，有大型开源项目贡献者优先；
2、平台与技术栈：深刻理解大数据生态核心组件，如Spark、Flink、Hadoop、Hive、Kafka、HBase、Doris/ClickHouse、Iceberg/Hudi等，熟悉底层原理、优化策略及常见问题解决。具备复杂数据模型设计能力，精通SQL及性能优化，有海量数据处理实战经验；
3、综合素养：具备较强的业务理解与沟通协作能力，能快速将业务问题转化为技术方案，并对交付结果负责。具备复杂问题拆解能力与平台化思维，能够在技术攻坚、稳定性保障与平台建设之间取得平衡；
4、加分项：有原生大数据平台建设经验，或有头部互联网、零售、金融等行业数据平台和数据治理平台（元数据、数据质量、数据安全）建设经验。