MBtech data engineer jobs (salary & requirements)

所需服务：
● 设计、构建和维护高吞吐量、容错的本地数据平台，同时为在线服务构建高效的数据处理和分析任务，并配备深入的数据监控和调优功能。
● 在私有云或本地节点上构建、部署和优化企业级可扩展数据库及对象存储解决方案。进行索引优化和分区调整，以处理航空航天工作负载。
● 执行将现有存储布局迁移至现代 Apache Iceberg 湖屋架构所需的实操测试、基准测试和实施工作，包括但不限于查询效率、严格的时间回溯、ACID 特性及模式演进控制。
● 构建并维护基础平台服务，将复杂、非结构化文档进行解析、分块并从中提取结构化智能，将其转化为机器可读的、具备语义能力的结构化资产，从而助力实现高精度信息检索。
● 将分散、本地化的数据集存储单元整合到统一的内部数据联合体中，*大限度地降低延迟并标准化跨平台查询访问，实现数据库自动配置和资源分配。
● 实施端到端数据标注系统，管理标注生命周期，并确保生成高质量的基线数据集和真实基准数据，为预测性人工智能做好准备。
● 支持指标与数据质量基础架构的实施
交付成果：
● 本地数据平台建设：建立稳定、高效且统一的本地数据门面战略及平台。
● 基于Iceberg的端到端湖屋架构，配备高性能数据API：通过具备严格ACID增强功能的高性能数据API服务，为业务用户提供稳定、高效的数据访问接口。
● 本地数据仓库建设：作为本地数据仓库建设的关键推动者，完成统一的关键存储和计算环境的搭建，并建立本地元数据管理系统。
● 深入的数据质量门控与监控功能：基于数据标注框架，建立“真实基准”和可信的指标存储库。
任职资格：
● 教育背景：计算机科学、软件工程、数据科学或相关定量领域的学士或硕士学位。
● 工作经验：
○ 5年以上数据平台工程或机器学习基础设施的实际操作经验。至少2-3年管理大规模数据平台并将其与数据洞察相结合的实际操作经验。
● 技术技能：
○ 存储与湖仓架构：具备ETL生态系统、对象存储框架以及现代湖仓架构（特别是Apache Iceberg和Parquet）的实际操作经验。
○ 数据库管理：具备HIVE、关系型数据库（PostgreSQL、MySQL）、NoSQL、时间序列或向量数据库的实际操作经验。
○ 数据联合：具备使用联合查询引擎或构建自动化数据库即服务（DBaaS）控制平面的实际操作经验。
○ 脚本编写与解析：精通 Python 并具备专家级 SQL 能力（高级性能分析与调优）。有编写健壮的文档解析器、结构化与非结构化数据映射的经验。具备 Shell 脚本编写经验者优先。
○ 数据质量：具备数据质量系统构建的扎实实践经验，熟悉数据分析和数据标注中间件。在实际生产环境中具备指标体系构建及数据分析洞察的实践经验。
○ 具备 DataOps 或 MLOps 经验者优先。
○ 具备 Docker 及 AWS 或华为云技术栈经验者优先。