上海 ee jobs (salary & requirements)

本岗位负责 AI 基础设施平台的软件研发，面向大规模 GPU/异构计算集群，完成资源管理、任务编排、集群管理、调度系统集成、运行状态管理、基础设施数据采集与平台 API 等后端能力的设计、编码、测试和问题定位。开发工程师需要能够直接阅读系统日志、调用链、数据库状态、容器/进程状态和集群资源状态，对功能正确性、状态一致性、可靠性、性能和可维护性负责。本岗位聚焦 AI Infrastructure，不以模型算法或 AI 应用开发为主要职责。
主要职责
R1. 平台后端与资源管理功能开发
• 根据产品需求和系统设计完成计算、GPU、网络、存储、集群、用户/项目资源等基础设施对象的后端功能开发。
• 设计并实现 REST/gRPC API、数据模型、资源关系、权限校验、状态流转、异步任务和后台控制服务。
• 处理并发更新、重复请求、超时、重试、失败补偿和部分成功等异常场景，保证接口和状态机具备幂等性与可恢复性。
• 对跨服务功能进行端到端联调，能够从 API、服务日志、消息、数据库和底层集群状态定位问题。
R2. 集群管理、任务编排与调度系统集成
• 开发 Kubernetes、Slurm 或同类资源管理/批处理系统的集成能力，完成集群接入、资源发现、任务提交、状态同步、取消、重试和异常恢复。
• 实现 CPU、GPU、内存、本地盘、网络等资源的配额、预留、限制、标签、拓扑与调度约束等能力。
• 理解队列、优先级、公平性、抢占、Gang Scheduling、Backfill、资源碎片等调度问题，并能够在平台侧正确表达和处理调度结果。
• 处理控制系统与底层调度器之间的状态漂移、事件乱序、重复事件、短暂不可达和长时间失联等问题。
R3. GPU 与异构计算运行环境集成
• 开发 GPU 设备发现、资源统计、健康状态、驱动/运行时信息采集以及 GPU 任务运行状态关联能力。
• 理解容器运行时、OCI、GPU device plugin、GPU Operat或同类设备管理机制，能够定位 GPU 不可见、设备分配失败、容器启动失败等问题。
• 理解 CUDA/ROCm 基础运行机制、PCIe/NVLink/NVSwitch 等常见 GPU 互联概念，并能结合系统日志分析资源与性能异常。
• 支持单机多卡、多机多卡、分布式训练/推理等基础设施场景的任务生命周期与资源状态管理。
R4. 分布式状态、事件与数据一致性
• 设计和维护任务、集群、节点、设备等对象的期望状态/实际状态同步机制以及周期性校准逻辑。
• 使用 PostgreSQL/MySQL、Redis、消息队列或事件总线实现可靠的数据持久化、缓存、异步处理和事件驱动。
• 处理服务重启、主备切换、网络分区、消息积压、重复消费和数据库故障后的状态恢复，避免资源泄漏和僵尸任务。
• 为关键状态转换定义审计记录、错误码和可追踪字段，支持问题复盘和自动化运维。
R5. 可观测性、故障定位与可靠性改进
• 为核心服务补齐 metrics、logs、traces 和关键业务指标，使用 Prometheus、Grafana、OpenTelemetry 等工具建设可观测性。
• 能够使用 kubectl、crictl、systemctl、journalctl、ss、tcpdump、strace、perf 等工具定位容器、进程、网络和性能问题。
• 参与生产/实验环境故障分析，形成根因、修复方案和永久回归测试，推动超时、重试、熔断、限流、降级和自恢复机制完善。
• 针对大规模节点和高并发任务场景进行性能分析，优化 API 延迟、数据库访问、消息处理和控制循环效率。
R6. 工程质量、安全与交付
• 使用 Go、Python 或 C/C++ 编写可维护的生产代码，完成单元测试、集成测试、接口测试和必要的性能测试。
• 遵循 Git 分支、代码评审、CI/CD、静态检查、依赖管理和版本发布规范；对变更提供可重复的部署与回滚方式。
• 实现 RBAC、*小权限、凭据保护、审计日志、输入校验等基础安全能力，避免越权访问和敏感信息泄露。
• 编写设计说明、接口文档、运维说明和故障排查文档，并对负责模块的线上质量持续负责。
R7. 跨域集成与规模化能力
• 与基础设施、系统、测试工程师协作完成服务器、GPU、网络、存储、Kubernetes/Slurm 等多技术域联调。
• 支持数百到数千节点级别的资源发现、状态采集、任务管理和批量操作，关注控制面扩展性与故障域隔离。
• 对第三方组件和开源软件进行源码级问题分析、补丁验证和版本兼容性评估，而不是仅停留在 API 调用层。
• 持续减少人工操作，通过自动化接口、控制器和工具提升部署、升级、诊断和运维效率。
任职要求
1. 基础能力（必备）
• 计算机、软件、通信、自动化等相关专业本科及以上学历，5 年以上 Linux 后端/分布式系统/云平台研发经验；有 AI 基础设施、云计算、容器平台或大规模集群经验者优先。
• 精通 Go、Python、C/C++ 至少一种语言，具备良好的并发编程、错误处理、性能分析和工程化能力。
• 深入理解 Linux 进程、线程、内存、文件系统、网络、cgroup、namespace 等基础机制，能够独立进行系统级调试。
• 熟悉 Kubernetes 核心对象、控制器、调度、网络、存储、RBAC 和容器运行时；有 Operator/Controller 开发经验者优先。
• 熟悉 REST/gRPC、PostgreSQL/MySQL、Redis、消息队列/事件总线，理解事务、一致性、幂等、重试、分布式锁和状态机设计。
• 能够使用 Prometheus、Grafana、OpenTelemetry 等可观测工具，并能基于日志、指标、trace 和底层系统状态完成故障定位。
• 熟悉 Git、CI/CD、Docker/OCI、Helm 等工程工具，具备生产级代码评审、自动化测试和版本发布经验。
• 具备良好的技术文档能力和跨团队协作能力，能够独立负责一个技术模块从设计、实现、联调到问题闭环。
2. 专业方向（至少具备一项，团队通过不同候选人组合覆盖全部方向）
• 方向一：云原生控制面与平台后端。具备 Kubernetes Controller/Operator、资源模型、API Server、异步任务、状态机和多租户权限体系开发经验，能够处理高并发和*终一致性问题。
• 方向二：调度与批处理系统。熟悉 Kubernetes Scheduler、Slurm 或同类系统，理解队列、优先级、公平调度、抢占、Gang Scheduling、Backfill、配额和资源碎片治理。
• 方向三：GPU 与异构计算平台。熟悉 GPU 驱动、CUDA/ROCm、容器 GPU 运行时、device plugin、GPU 监控和多卡/多机任务基础设施，能够定位 GPU 分配和运行异常。
• 方向四：分布式系统与可靠性。具备分布式状态管理、消息驱动、服务高可用、故障恢复、数据一致性和大规模控制系统开发经验。
• 方向五：可观测性与故障诊断。熟悉 metrics/logs/traces、OpenTelemetry、Prometheus、日志检索与根因分析，能够设计面向大规模集群的健康检查、告警和诊断能力。
• 方向六：基础设施网络与存储集成。理解 TCP/IP、VLAN、Bond/LAG、RDMA/RoCE/InfiniB基础，以及块/文件/对象存储和 CSI；有网络或存储控制面集成开发经验。
• 方向七：平台安全与资源隔离。熟悉 RBAC、OIDC、Secret/KMS、审计、配额、命名空间/容器隔离和供应链安全，能够将安全要求落到平台代码和运行流程中。