大数据架构师岗位职责

岗位职责：
1、架构设计与规划
负责大数据平台的总体架构设计，包括数据采集、存储、处理和分析等各个环节。
制定长期的技术发展路线图，确保技术选型符合业务需求并支持未来的扩展。
2、系统实施与优化
领导团队完成大数据系统的搭建与部署，选择合适的开源或商业工具（如Hadoop, Spark, Kafka, Flink等）。
对现有大数据系统进行性能调优，提升系统的稳定性和效率。
3、数据治理
建立和完善数据管理策略，包括数据质量、元数据管理和数据生命周期管理。
确保数据的安全性、隐私保护以及合规性，遵循相关的法律法规。
4、项目管理
协调跨部门资源，推动大数据项目的顺利执行，确保按时交付高质量的产品或服务。
为各个业务部门提供技术支持，参与关键决策过程，保证方案的可行性和先进性。
5、创新与研发
探索和引入新的技术和方法论，持续改进大数据处理能力。
参与前沿技术研究，保持对行业动态和技术趋势的高度敏感。
6、团队建设与发展
招募和培养高水平的大数据专业人才，构建高效能的技术团队。
分享知识和经验，促进团队成员之间的交流与合作。

任职要求：
1、学历背景：计算机科学、信息技术、软件工程等相关专业的硕士及以上学历优先考虑。
2、工作经验：至少[X]年以上的大数据领域相关工作经验，有成功领导大型项目的经验者优先。
技术技能：
精通大数据技术栈，熟悉Hadoop生态系统中的核心组件（如HDFS, MapReduce, Hive, HBase）。
对分布式计算框架有深入理解，能够熟练应用Spark, Flink或其他实时流处理框架。
具备丰富的数据库设计和优化经验，了解SQL和NoSQL数据库的特点及应用场景。
熟悉云计算平台上的大数据解决方案，如AWS EMR, Google Cloud Dataproc, Azure HDInsight等。
掌握ETL流程的设计与实现，能够使用相关工具（如Apache NiFi, Talend, Informatica）。
3、认证资格：拥有Cloudera Certified Data Engineer (CCDE)、Certified Analytics Professional (CAP)等相关认证者优先。
4、软技能：
出色的沟通能力和团队协作精神，能够在复杂的环境中有效地协调各方资源。
强大的问题解决能力，善于应对复杂的技术挑战。
具备良好的英文读写能力，能够无障碍地获取国际*新的技术资料。
拥有强烈的学习意愿和自我驱动力，愿意探索新技术和新方法。

1、全日制本科及以上学历，计算机、信息系统管理、电子科学与技术、自动化与控制工程、人工智能、大数据等相关专业，有解决方案丰富工作经验的其他专业人员，35周岁以下，特别优秀者可适当放宽，年龄计算截止时间为2023年6月30日；
2、熟悉使用Linux、Unix等常用的操作系统，具备故障分析以及性能优化的能力；
3. 对大数据基础架构和平台有深刻理解，精通HADOOP生态圈，如HIVE/SPARK/HDFS/HBASE/MAPREDUCE/YARN/ZOOKEEPER等技术；精通FLINK、STROM、KAFKA、FLUME、LOGSTASH等技术；
4、5年以上大数据架构和技术相关经验，具备大数据规划、建设等相关管理经验，拥有大数据平台规划及落地实施经验，掌握中台设计方法论，并具有相应的3年实践经验；熟悉运营商关内容优先；
5、具备良好的沟通能力、逻辑思维能力强、善于团队协作、有强烈的责任心、学习能力强、责任心强、抗压能力强。
6、具备很好的技术敏感度和风险识别能力，有不断钻研和探索的精神，敢于挑战自我，有解决疑难问题的毅力和决心.

岗位职责：
1.负责支撑各业务线、端到端项目数据仓库、数据中台、数据中心、数据应用等方案设计工作
2.负责数据项目的交付工作，对数据实施质量进行把控，代码质量进行review把控，指导数据开发工程师按照数据工程体系项进行数据开发实施
3.负责数据项目阶段开发成果与客户的汇报工作，对汇报结果进行把控
4.参与大数据行业各类标准的制定工作，行业案例沉淀工作
5.对团队数据开发工程师的能力提升进行培训赋能
6.参与大数据核心技术攻坚工作

任职要求：
1.7年以上Java、Hadoop开发及管理经验，有传统数仓、数据中台、大数据相关分析产品的开发落地经验
2.有分布式系统分析及架构设计经验，有大型计算集群的基础设施开发维护经验
3.熟悉Java EE相关框架原理，如spring cloud、spring boot、ssh、ssm等
4.熟悉Apache Hadoop平台及相关生态技术，包括MapReduce、HDFS、Spark、Strom、ZooKeeper、HBase、Hive、Flume、Sqoop等技术的原理和实施
5.熟悉机器学习常用框架sklearn、tensorflow、keras等
6.熟悉Linux 操作系统和大型关系型数据库MySql、Oracle等，熟悉python、shell、sql、hql等编程语言
7.有大数据项目交付相关经验优先
8.良好的文档编写能力，学习、沟通能力，富有强烈的责任感和团队意识
9.有政务数据治理经验优先（包含数据治理、数据质量、数据编目、数据标签、一数一源、主数据等）