中级数据工程师岗位职责

岗位职责：

1.与算法工程师等进行沟通，讨论数据建设目标，制定数据建设方案，参与数据收集、存储、处理、分析、评价等标准及规范的制定；

2.根据工作计划，对日常业务、现场采集、运维等数据进行收集，并按照规定存储至服务器；

3.对已采集的数据进行处理，包含数据标准化、数据清洗、数据校验、数据标注、数据审核等，形成有效高质量数据版本；

4.利用统计分析方法，对日常业务、现场采集等数据进行分析，挖掘数据潜在规律，提取有价值的信息，为算法提供决策支撑；

5.根据数据质量评价指标，对数据质量进行度量；

6.根据相关制度文件、管理办法，保障数据在存储、使用、流转中的安全性；

根据任务需求，为公司各部门提供全过程数据服务工作；根据任务需求，收集测试数据，对交付算法进行测试，并提供有效测试分析报告；

参与项目全生命周期的深度数据分析工作，挖掘数据规律，为产品迭代优化和客户价值提升提供数据驱动的决策支持。


任职要求

1.熟练使用Office系列软件；

2.熟练掌握python/R、SQL数据处理与提取技术；

3.熟练掌握数据分析与建模的工具和方法；

4.熟练掌握数据可视化与报告技术，能清晰呈现分析结论和预测；

5.熟悉Linux系统，掌握基本运维方法；

6.具有爬虫，数据挖掘和机器学习相关项目经验优先。

7.有数据仓库、数据治理、大数据生态使用项目经验优先。

8.工作认真，责任心强，具有良好的人际沟通能力和团队合作意识；

9.具有较强的学习能力和分析解决问题的能力；

11.计算机技术、大数据技术、电子信息工程、数学等相关专业；

平台设计与开发:
负责核心数据平台、数据仓库的架构设计与开发工作，确保系统的高性能、高稳定性和高扩展性。
主导数据需求分析、数据建模、ETL/ELT 开发、测试和上线等全流程工作。
根据数据应用场景进行技术选型，并指导团队成员进行数据开发。
技术难题攻关:
解决海量数据处理、实时计算、数据倾斜等技术难题，持续优化数据任务的性能与资源消耗。
负责关键模块（如实时数据链路、核心数仓模型）的技术攻关，制定解决方案，确保数据项目的顺利交付。
数据质量与规范:
制定并推动团队执行数据开发规范、数据建模规范和数据质量标准。
组织并执行代码评审（Code Review / SQL Review），保障数据产出的准确性与时效性，提升团队整体开发质量。
数据研发效能:
参与数据开发与发布流程（DataOps）的建设与优化，提升数据测试、部署和监控的自动化水平。
推动数据开发工具链的完善，提升整体数据研发与交付效率。
团队协作与指导:
指导并帮助初级/中级工程师解决大数据开发中的技术问题，提升团队整体技术水平。
在项目中起到技术引领作用，促进团队在数据技术领域的协作与进步。
新技术研究与应用:
关注并研究大数据领域的新技术，评估其在业务中的应用价值。
组织并参与技术分享，推动技术团队在大数据架构上的演进与创新。
任职要求：
本科学历，大数据、计算机科学、软件工程或相关领域专业。
3-5 年以上大数据平台开发经验，有大型互联网公司数据仓库或数据湖建设经验者优先。
编程与计算引擎： 精通 Python、Java 或 Scala 编程语言，深入理解 JVM 原理；熟练掌握 Hadoop 生态（HDFS, Yarn, Hive），并精通 Spark 或 Flink 中至少一种主流计算引擎。
数据架构与建模： 熟悉数据仓库建模理论（如维度建模），掌握数据分层、数据湖、湖仓一体等架构设计思想。
数据存储与查询： 具备良好的 SQL 编写与优化能力，熟悉主流 OLAP 引擎（如 ClickHouse, Doris, StarRocks）及 NoSQL 数据库（如 HBase, Elasticsearch, Redis）的使用场景与调优。
数据管道与中间件： 掌握常用数据同步工具（如 DataX, Flink CDC），并精通消息队列 Kafka 的使用与原理。
基础环境与运维： 熟悉 Linux 操作系统和常用 Shell 脚本，具备大数据组件的部署、监控和问题排查能力。

1. 平台设计与开发:
● 负责核心数据平台、数据仓库的架构设计与开发工作，确保系统的高性能、高稳定性和高扩展性。
● 主导数据需求分析、数据建模、ETL/ELT 开发、测试和上线等全流程工作。
● 根据数据应用场景进行技术选型，并指导团队成员进行数据开发。
2. 技术难题攻关:
● 解决海量数据处理、实时计算、数据倾斜等技术难题，持续优化数据任务的性能与资源消耗。
● 负责关键模块（如实时数据链路、核心数仓模型）的技术攻关，制定解决方案，确保数据项目的顺利交付。
3. 数据质量与规范:
● 制定并推动团队执行数据开发规范、数据建模规范和数据质量标准。
● 组织并执行代码评审（Code Review / SQL Review），保障数据产出的准确性与时效性，提升团队整体开发质量。
4. 数据研发效能:
● 参与数据开发与发布流程（DataOps）的建设与优化，提升数据测试、部署和监控的自动化水平。
● 推动数据开发工具链的完善，提升整体数据研发与交付效率。
5. 团队协作与指导:
● 指导并帮助初级/中级工程师解决大数据开发中的技术问题，提升团队整体技术水平。
● 在项目中起到技术引领作用，促进团队在数据技术领域的协作与进步。
6. 新技术研究与应用:
● 关注并研究大数据领域的新技术，评估其在业务中的应用价值。
● 组织并参与技术分享，推动技术团队在大数据架构上的演进与创新。
任职要求：
1. 本科学历，大数据、计算机科学、软件工程或相关领域专业。
2. 3-5 年以上大数据平台开发经验，有大型互联网公司数据仓库或数据湖建设经验者优先。
3. 编程与计算引擎： 精通 Python、Java 或 Scala 编程语言，深入理解 JVM 原理；熟练掌握 Hadoop 生态（HDFS, Yarn, Hive），并精通 Spark 或 Flink 中至少一种主流计算引擎。
4. 数据架构与建模： 熟悉数据仓库建模理论（如维度建模），掌握数据分层、数据湖、湖仓一体等架构设计思想。
5. 数据存储与查询： 具备良好的 SQL 编写与优化能力，熟悉主流 OLAP 引擎（如 ClickHouse, Doris, StarRocks）及 NoSQL 数据库（如 HBase, Elasticsearch, Redis）的使用场景与调优。
6. 数据管道与中间件： 掌握常用数据同步工具（如 DataX, Flink CDC），并精通消息队列 Kafka 的使用与原理。
7. 基础环境与运维： 熟悉 Linux 操作系统和常用 Shell 脚本，具备大数据组件的部署、监控和问题排查能力。
工作时间
9:00-12:00 14:00-17:30 周末双休