大数据架构岗位职责

岗位职责：
1.负责大数据平台架构的规划与设计；负责大数据平台技术框架的选型与技术难点攻关；
2.负责公司多个教育行业项目的数据中台架构设计以及数仓规划。
3.负责数据基础架构和数据处理体系的升级和优化，技术难题攻关，持续提升核心系统性能，保证系统的安全、稳定、高效运行
4.设计并实现对大数据分析、数据产品开发、算法开发的系统性支持
5.研究未来数据模型和计算框架的创新与落地，包括但不限于以下领域：大规模数据实时化、研发模式敏捷化、数据计算框架轻量化、数据模型组织方式业务化等方面参与制定并实践团队的技术发展路线
6.研究跟进大数据架构领域新技术并分享；大数据处理和分析应用平台的设计指导；参与培养大数据领域开发人才；有效辅导团队，提升数据研发能力
任职要求：
1.有大数据架构开发经验，熟练大数据组件hadoop、spark、hive、storm、flink、hbase、ES三种以上；
2.有数据中台实施以及数据治理经验，负责数据收集、处理、存储、管理、分析、建模、应用等一整条链路的架构设计以及实施指导；
3.负责教育业务模型的设计与研发，擅长使用python或者spark的mlib库做机器学习训练。
4．负责教育项目主题库的设计，熟练应用维度模型、星型模型、雪花模型等数仓设计方法，针对不同的项目数据特点做相应的数仓架构。
5.性格积极乐观，诚信，能自我驱动，有较强的语言表达能力；具备强烈的进取心、求知欲及团队合作精神；具有良好的沟通、团队协作、计划和创新的能力
6.具备优秀的团队意识和沟通能力，学习能力和主动性强，具有钻研精神，充满激情，乐于接受挑战。
7.本科以上学历，扎实的计算机专业基础，有5年以上大数据平台开发经验；

职位描述：
我们正在寻找一名技术精湛、富有系统思维的大数据架构师，加入我们的团队，共同打造企业级实时数据平台。
作为大数据架构师，您将负责：
1、负责大数据平台的整体架构设计、技术选型与演进规划，为企业级数据处理提供统一、可靠的技术底座。
2、主导数据从抽取、清洗、计算到端上呈现的全链路设计，确保数据实时性、准确性和一致性。
3、构建高并发、低延迟的OLAP分析引擎和查询服务，支撑高并发下秒级甚至毫秒级的响应性能。
4、建设数据治理体系，实现完整的数据血缘追踪和元数据管理，确保数据链路的可追溯性。
5、主导大数据平台性能调优，解决高并发、海量数据处理场景下的瓶颈问题。
6、跟踪并研究大数据与AI领域的前沿技术，为团队引入创新的架构模式和解决方案。
7、指导大数据开发团队，制定技术规范和开发标准，提升团队整体技术能力。
职位要求：
1、本科及以上学历（计算机相关专业），8年以上大数据开发经验，其中至少3年以上架构设计或技术主导角色。
2、深入掌握大数据生态：精通 Hadoop（HDFS/Yarn/Hive）、消息队列（Kafka/Pulsar）及实时计算引擎（Flink 为主，兼顾 Spark Streaming）。
3、精通流处理与实时 ETL：具备大规模实时数据采集（CDC，如 Flink CDC/Debezium）及实时清洗、计算的落地经验。
4、精通 Apache Doris：理解其存储结构、分区分桶策略、索引优化；具备高并发（2000+ QPS）查询优化实战经验。
5、精通ElasticSearch：熟悉分布式检索与大规模日志/事件存储优化。
6、数据治理与血缘分析能力：熟悉元数据管理及数据质量体系，能设计端到端的数据血缘追踪方案。
7、性能调优与编程能力：精通 Java，具备集群资源调度、JVM调优、网络 I/O 优化能力，能进行源码级问题排查与性能调优。
8、架构视野与工程化能力：理解 Lambda、Kappa 及湖仓一体架构；熟悉数据平台工程化（CI/CD、Kubernetes、Prometheus 监控等）。
9、软技能：良好的沟通与团队协作能力，能与产品、后端、运维、分析师紧密合作；具备快速学习能力及英文阅读能力。

"岗位职责：
1.电芯大数据平台架构设计
①　负责电芯海量数据（每秒数万至数十万数据点）的采集、传输、存储、计算和分析平台的整体架构设计。
②　设计基于数据湖（如MinIO/HDFS/Iceberg）和流批一体（如Flink/Spark Streaming）的大数据处理架构，支撑实时监控、离线分析和AI训练。
2.数据采集与传输优化
与L1设备接入组协作，优化电芯数据从站端到云端的传输方案，包括数据压缩、断点续传、边缘预处理等，降低带宽成本和延迟。
3.数据存储与治理
①　设计电芯数据的存储分层策略（热数据/温数据/冷数据），结合时序数据库（TDengine）和分布式文件系统，满足长期存储与快速查询的平衡。
②　制定数据质量标准和数据治理规范，建立电芯级数据血缘追踪机制。
4.计算引擎建设
搭建面向电池数据分析的计算引擎，支持大规模并行计算，为SOH评估、一致性分析、热失控预警等算法提供高效的数据处理能力。
5.平台运维与扩展性
①　确保大数据平台的高可用、可扩展性，支持从单站到数百个储能电站的平滑扩展。
②　制定平台监控告警方案，保障数据链路的稳定可靠。
6.团队协作与文档
指导大数据开发工程师（未来可扩展）进行平台开发，编写架构设计文档和运维手册。"
"任职要求：
1.教育背景：计算机科学、软件工程、数据科学、电子信息等相关专业硕士及以上学历。
2.经验要求：5年以上大数据平台架构设计经验，3年以上工业物联网、车联网或新能源行业大数据平台建设经验。有电池数据平台、车联网TSP平台或储能云平台经验者优先。
3.核心技术能力：
①　精通Hadoop生态（HDFS、YARN、Hive）或云原生大数据技术栈（Spark、Flink、Kafka、Pulsar）；
②　熟悉数据湖技术（Iceberg、Hudi、Delta Lake）和数据仓库建模方法论；
③　熟悉时序数据库（TDengine/InfluxDB）在大数据场景下的应用与优化；
④　具备Java/Scala/Python开发能力，熟悉Kubernetes容器化部署；
⑤　了解电芯数据协议（CAN/Modbus）和电池数据特征者优先。
综合素质：具备前瞻性技术视野和复杂系统设计能力，优秀的跨团队沟通能力。"