大数据研发岗位职责

职责描述：1、负责企业级数据仓库的模型设计；2、负责数据仓库及运力BI项目基础架构规划、安全规划、ETL架构和规范制定；3、负责制定数据接入和采集规范制定；4、负责数据质量问题的分析、跟进、解决。任职要求：本科或以上学历，计算机、统计、数学、信息技术等相关专业；7年以上数据处理相关工作经验者，深刻理解数据仓库的设计理念；精通至少一种关系型数据库(oracle/mysql/sqlserver)管理以及性能调优；精通至少一种mpp数据库(presto/clickhouse/doris)管理以及性能调优；熟练掌握Hadoop,Hive,Spark,Flink,Kafka,ES等数据处理技术，对大数据基础架构和平台有一定的理解和实践；精通JAVA或SQL开发；至少3年带团队经验（5人及以上）；加分项 有数据可视化实践经验，及数据仓库从0到1的建设经验。

岗位职责：
1. 数据战略与规划：
- 制定并执行企业级大数据战略，结合业务目标设计数据架构、治理框架及长期发展规划；
- 主导数据驱动决策的文化建设，推动数据资产化与商业化应用。
2. 数据平台建设与优化：
- 负责大数据平台（如Hadoop、Spark、Flink、Kafka等）的搭建、运维及性能优化，确保高可用性与扩展性；
- 设计并实施数据仓库、数据湖架构，整合多源异构数据，保障数据采集、存储、处理的效率与安全性。
3. 数据分析与挖掘：
- 主导复杂业务场景下的数据建模与分析（如用户行为分析、风险预测、精准营销），输出可落地的数据洞察与策略建议；
- 推动机器学习、AI技术与业务场景结合，挖掘数据价值并赋能业务增长。
4. 团队管理与协作：
- 领导数据团队（数据工程师、数据分析师、数据科学家等），制定目标并推动高效执行；
- 跨部门协同业务、技术、产品团队，确保数据需求与解决方案的无缝对接。
5. 数据治理与合规：
- 建立数据质量管理体系，监控数据一致性、完整性及准确性；
- 确保数据安全与合规（如GDPR、数据隐私保护），制定应急预案与风险管理机制。
岗位要求：
1. 基本条件：
- 全日制本科及以上学历，计算机、统计学、数学等相关专业；
- 8年以上大数据领域经验，3年以上团队管理经验，主导过大型数据平台或分析项目。
-具备整车、金融、电商等高数据密度行业的实战经验
2. 技术能力：
- 精通大数据技术栈：Hadoop/Spark/Flink/Kafka/Hive等，熟悉云计算平台（AWS、阿里云等）；
- 熟悉数据仓库建模（Kimball/Inmon）、ETL开发及实时流处理技术；
- 掌握Python/SQL等数据分析语言，了解机器学习框架（TensorFlow/PyTorch）及BI工具（Tableau/Power BI）。
3. 核心素质：
- 具备极强的业务敏感度，能将数据洞察转化为商业价值；
- 优秀的项目管理能力，熟悉敏捷开发与DevOps流程；
- 出色的沟通能力，能向非技术人员清晰传达复杂技术概念。

职位描述
一、核心技术栈要求
1.大数据计算与存储框架​
精通Spark、Flink，具备大规模数据计算与实时处理开发经验。
熟练掌握Hadoop、Hive、HBase，具备数据存储、查询与离线处理能力。
熟悉Kafka、Redis，具备高吞吐数据流处理与缓存设计经验。
2.数据仓库与数据集成​
熟悉OLAP数据库Doris，有实际性能优化经验者优先。
熟练使用SeaTunnel、DataX、Sqoop等进行数据同步与集成。
熟悉MySQL，具备数据库设计与调优能力。
3.编程语言​
精通Scala、Java，具备高性能、高并发系统开发经验。
二、平台与工具要求
1.任务调度与数据可视化​
熟练使用DolphinScheduler等调度工具，具备工作流设计与运维经验。
熟悉Superset、Metabase等BI工具，能够支持数据可视化需求。
2.数据治理与质量​
具备数据治理经验，熟悉数据清洗、标准化、元数据管理等流程。
了解数据管理平台或数据中台建设理念。
3.后端开发能力​
熟悉Spring Boot开发，能够支持数据服务化、API开发等相关需求。
三、运维与部署要求
1.容器化与云原生​
熟悉Docker、Kubernetes，具备容器化部署与运维经验。
2.操作系统与环境​
熟练使用Linux系统（CentOS/国产OS），具备脚本编写和系统调优能力。
四、经验与软性要求
1.项目经验​
8年及以上大数据开发经验，具备日处理十亿级数据、TB级存储的大型项目实战经验。
能够独立完成架构设计、性能优化与疑难问题排查。
2.加分项​
有国产化替代（如国产数据库、操作系统）经验者优先。
具备团队管理或技术架构规划经验者优先。