岗位要求:
1、本科及以上学历,计算机科学、软件工程或相关专业,对软件开发、运维或实施工作有浓厚兴趣;
2、熟悉至少一种常见数据库(如Oracle、PostgreSQL、MySQL等),掌握基本的SQL编写及数据处理能力;
3、了解Linux常用命令,对Shell或Python脚本有基础了解并愿意深入学习;
4、熟练掌握Hadoop、Spark、Flink、Kafka等大数据生态组件;
5、具备数据仓库建模理论和实践经验;
6、熟悉机器学习/深度学习常用模型,并有实际建模和调优经验或AI相关知识和经验优先;
7、具备较强问题分析与解决能力,良好沟通协作能力;
8、责任心强,具备良好的团队协作意识和抗压能力,能够积极面对挑战并主动学习;
岗位职责:
1、大数据平台架构与开发
负责基于Hadoop、Spark、Flink、Kafka等生态组件的大数据平台设计与开发。
参与实时流计算与离线批处理任务的开发与优化。
2、数据仓库建设与模型设计
主导或参与数据仓库建模工作,负责分层设计(如ODS、DWD、DWS、ADS)及ETL/ELT流程开发。
制定数据规范,确保数据一致性、完整性及易用性,支撑业务数据报表与决策分析。
3、数据库管理与SQL开发
熟悉Oracle、PostgreSQL、MySQL等主流关系型数据库,负责复杂业务数据的提取、清洗及转换。
编写高效率、高可读性的SQL脚本,进行数据质量核查与性能调优。
4、可以熟练的使用Linux命令,负责大数据集群的日常巡检、日志分析及异常排查。
5、AI算法探索与落地(加分项)
结合业务场景,探索机器学习/深度学习模型(如回归、分类、聚类、神经网络等)在数据产品中的应用。
负责模型的选型、训练、调优及线上部署,推动AI能力与大数据平台的融合。