hadoop大数据工程师岗位职责

岗位职责：
1、负责基于DataWorks进行大数据集成、开发或基于blink的流计算开发；
2、负责基于oracle、MySQL进行存储过程的开发；
3、负责数据服务的设计、开发等工作。
4、与数据分析师和业务团队合作，理解数据需求，完成数据模型的设计、开发、测试、验证等工作；
5、管理和维护离线数据同步、指标分析计算，确保其稳定运行；
6、处理离线数据同步和指标离线计算的故障和异常，确保系统高可用性；
7、编写和维护大数据离线计算相关的技术文档和操作手册。

任职要求：
1、3年以上相关工作经验，有电网营销经验，熟悉营销电费业务，有快速学习能力；
2、熟悉阿里云大数据产品组件，如DataWorks、MaxCompute、Blink、RDS、ADB、DataHub、Table Store(OTS)、Quick BI等；
3、熟悉SQL，可进行SQL分析调优；
4、熟练掌握基于dataworks的离线数据开发或基于blink的流计算开发；
5、熟悉Oracle、Gbase、MySQL等数据库，能够熟练进行存储过程的开发、测试；
5、具备python/java开发能力的优先；
6、熟悉数仓建模理论，了解ER建模及维度建模理论，熟悉常见的数仓分层方法、原则、规范；
7、具备一定业务敏感度，能够结合业务问题进行业务调研、总结、抽象，简单设计数据应用原型；
8、具备良好的沟通能力，能够独立对接需求，完成需求分析。

岗位内容：
1. 负责设计、开发和维护大型数据处理系统。
2. 制定和执行数据编码、测试和部署策略。
3. 维护现有的数据集成和 ETL 流程，并对其进行优化。
4. 跟踪新技术和趋势，推动公司数据技术发展方向。
任职要求：
1. 至少三年以上数据领域相关的工作经验。
2. 熟悉至少一种主流编程语言（如 Python/Java/Scala），有扎实的编码能力。
3. 精通 Hadoop 生态系统中的工具和技术。
4. 熟悉云计算平台和容器化技术，并具备相关调试和管理经验。
5. 具备极强的团队协作能力和解决问题的能力。

岗位职责:
1. 负责Hadoop大数据平台的搭建、维护与性能优化，保障系统稳定高效运行；
2. 参与大数据处理架构的设计与实施，支持海量数据的存储与计算需求；
3. 开发和优化数据处理流程，提升数据流转效率与资源利用率；
4. 协同团队完成平台组件的集成、监控与故障排查，确保服务连续性。

任职要求：
1. 熟悉Hadoop生态体系，掌握HDFS、YARN、MapReduce等核心组件原理与应用；
2. 具备分布式系统开发或运维经验，能够独立完成集群部署与调优；
3. 熟练使用Linux操作系统，掌握Shell或Python等脚本语言进行自动化操作；
4. 具备较强的技术问题定位与解决能力，能应对复杂环境下的技术挑战；
5. 具有良好的团队协作意识和沟通能力，责任心强，适应快节奏技术环境。