大数据工程师岗位职责

主要职责
•  与产品团队、业务部门和数据科学家合作，理解业务需求并提供技术解决方案。
•  设计、开发和维护大数据平台和数据处理系统，支持海量数据的存储、处理和分析，确保系统的高可用性和可扩展性。
•  支持业务部门的数据分析需求，提供数据接口和报表服务。
•  确保数据处理过程符合安全规范和合规要求，保护数据隐私和完整性。
•  带领团队创建并交付使用大数据和商业智能（BI）技术的业务洞察项目，应用于营销、生产、销售和研究等领域，利用数学与统计方法和模型。
•  与产品负责人（Product Owner）、Scrum Master、开发团队成员、后端开发人员、安全专家及其他相关团队合作，识别技术和功能需求。
•  为业务部门提供数据可视化解决方案和服务，展示数据洞察和价值。
•  与产品开发团队合作，定义、设计和开发数据驱动的用户案例，以创造新的市场机会。
•  完成上级指派的其他任务。

任职要求
•  拥有信息技术、统计学或相关专业学士学位，或具备相关经验、培训及实际交付能力。
•  沟通表达能力强，具备团队协作精神和清晰的逻辑思维。
•  熟练掌握至少一种编程语言（如 Python、Scala，优先考虑 Python），熟悉 Linux 和 Shell 脚本。
•  熟练掌握多种 SQL（如 Hive、Presto），具备优化经验。
•  熟悉大数据生态系统（如 Hadoop、Flink、Kafka）。
• 具备 AI 工具使用意识和实践经验，能够将大模型工具应用于数据开发、SQL 优化、数据质量检查、报表分析、知识检索和日常交付提效。
• 熟悉主流 AI 助手或大模型工具的使用方式，如 ChatGPT、GitHub Copilot、Microsoft Copilot、Dify、FastGPT、RAGFlow 等，能够结合实际业务场景提升团队工作效率。
• 具备基础 Prompt Engineering 能力，能够通过结构化提问、上下文补充和结果校验，提升 AI 辅助分析和开发的准确性，并关注数据安全、隐私和合规要求。
•  具备创造性思维和解决问题的能力，具有较强的研究和分析思维，注重细节。
•  擅长演讲，能够熟练进行结构化表达。
•  强大的研究和分析能力，对细节极度关注。
•  熟悉公共云服务，有 AWS 使用经验者优先。
•  熟悉 IAC（基础设施即代码）工具，优先使用 Terraform。熟悉 CI/CD 工具（如 Jenkins 和 GitHub Actions）。
•  具备软件交付和全生命周期经验，例如敏捷开发、代码管理、版本控制、持续集成和部署、发布、维护等。
•  优先考虑具备英语沟通能力的候选人。

工作职责】
1、 负责公司数据产品开发及运维，对数据质量及产品可靠性负责； 2、 负责宽表和数据集市层表的逻辑加工及数据服务的开发； 3、 参与数据模型设计，数据服务设计。
【任职要求】
业务技能要求：
1、负责核心模块的业务需求IT实现中的概要设计、输出高质量代码，落地开发者测试，保障所实现的需求满足质量、性能等要求；
2、对责任代码仓的代码质量进行看护，定期审视代码及落地DFX重构需求，持续构建代码的可读性和可维护性。
专业知识要求：
1、2年以上数仓（Gauss DWS、SQL Server、Oracle）/分布式数据存储与计算平台应用开发经验，有华为DWS开发经验尤佳，处理过千万级别以上的数据；
2、具备较强的逻辑思维，能够理解并使用SQL计算复杂的业务逻辑；
3、较为丰富的数据仓库及数据平台架构经验，精通数据仓库建模及ETL设计开发；在数据质量、调度治理等方面有一定实践经验；
4、能快速定位和处理数据问题，有责任心，乐观，抗压能力强

工作内容：
1、数据架构设计与优化（数据模型、数据标准、数据分布），架构落地和遵从；
2、架构治理与运营改进、架构设计原则的遵从和落地，数据关键问题的解决；
3、数据质量管理，数据质量度量、数据质量改进、数据质量问题管理；
4、数据联接及服务建设、元数据管理等工作；
5、输出数据安全与隐私保护解决方案；
6、输出信息化建设项目中的数据解决方案；
7、支撑数据Owner制定数据治理路标、负责所管辖业务的数据治理。
岗位要求：
1、硕士及以上学历，计算机、数据科学、信息管理等相关专业；
2、3年以上工业数据治理经验，2年以上半导体行业背景，熟悉晶圆厂数据接口规范与标准数据架构设计；
3、具有半导体设备数据治理经验、熟练使用SQL指令和相关编程能力，有数据治理和分析项目经验者优先
4、具备时序数据分析、异常检测算法、数据可视化等技术能力。