大数据研发岗位职责

职位职责：

1、负责字节商业化数据仓库&集市的建设与维护，包括但不限于数据建模、数据开发、数据质量等

2、负责字节商业化业务数据BP，包括需求对接，抽象需求沉淀数据建模，结合产品矩阵灵活的把控技术方案，高质量交付需求

3、参与商业化数据治理工作，提升数据稳定性、易用性及数据质量

4、参与商业化大数据平台规划、为商业数据平台整体提供内容建设侧的应建议指导

职位要求：

1、本科以上学历，2年以上互联网业务数据仓库模型设计、开发经验；

2、熟练使用Hadoop及Hive、spark，熟悉HQL调优。具备一定的Java、Python等语言开发能力

3、具有Clickhouse、Druid、presto等OLAP引擎使用经验者优先

4、具有丰富的指标体系设计，指标管理经验优先

5、沟通能力强，业务sense好，良好的团队协作，以解决业务问题为导向，认同技术解决业务问题的价值理念，对处理海量大数据有较强的兴趣度和持续的热情

岗位职责：· 运用机器学习和人工智能方法，深入挖掘石油领域的大数据资源，开发公司核心软件系统的功能模块，提供解决方案。· 为公司内所有与人工智能相关的项目研发并利用新的方法，例如大数据和机器学习分析模型。· 与技术顾问和软件开发人员合作，利用公司同行业的共享数据来解决我们的问题。· 对新的或修改后的数据系统进行编码、测试和记录，以创建用于数据分析的可靠且可扩展的应用程序，并需要与其他程序员密切合作开发设计其他软件模块。任职要求：· 1-3年连续的大数据研发或机器学习的经验。· 科学或工程类硕士，数据科学、计算机科学、统计学、数学、数据挖掘和分析、精算学等相关专业。优秀应届毕业生亦可。· 熟练使用Python、C++、R、SQL等计算机编程语言和MATLAB、SPSS或SAS等统计分析工具。· 对预测建模、统计和随机概念、机器学习方法、聚类和分类技术以及优化算法有深刻的理解。较强的沟通能力、动态思维和批判性思维，以及(通过数据)讲述故事的能力，能够影响并提出分析策略和解决方案，挑战并扩展你周围每个人的思维。

1.数据收集与整合
负责从多种数据源（如数据库、日志文件、API 接口等）收集原始数据，确保数据的完整性和及时性。
对不同来源、格式的数据进行整合，制定统一的数据标准和规范，为后续的数据清洗工作奠定基础。
2.数据清洗与预处理
运用大数据处理技术和工具，识别并处理数据中的噪声、重复值、缺失值、异常值等问题。
对数据进行标准化处理，如数据格式转换、编码转换等，保证数据的一致性和可用性。
3.数据质量监控与评估
建立数据质量监控体系，定期对清洗后的数据进行质量检查，设定数据质量指标（如准确率、完整性等）并进行评估。
及时发现数据质量问题，并分析问题产生的原因，提出有效的解决方案，确保数据质量符合业务需求。
4.清洗流程优化与创新
持续优化数据清洗流程和算法，提高数据清洗的效率和准确性。例如，通过引入新的机器学习算法或改进现有数据处理逻辑，提升清洗效果。
关注行业内大数据清洗的*新技术和方法，积极探索创新的数据清洗解决方案，为公司的数据处理工作带来新的思路和方法。
5.团队协作与沟通
参与团队内部的技术交流和分享，共同提升团队整体的数据处理能力和技术水平。