SHOPLAZZA ee jobs (salary & requirements)

职位描述：
1. 评测体系建设与迭代
- 基于业务场景设计 Agent 分层评测框架，覆盖指令理解、任务规划、工具调用、执行轨迹、输出质量等核心维度
- 构建面向内部业务域的场景化评测集，将真实业务流程抽象为可复现、可扩展的评测用例
- 设计并维护评测指标体系，量化 Agent 在准确性、稳定性、一致性、安全性等维度的表现
2. Langfuse 深度应用与评测平台搭建
- 深度使用 Langfuse 进行 Agent 轨迹追踪（trace）、性能监控与评测数据收集
- 基于 Langfuse 搭建评测数据管道，实现评测流程标准化、结果可视化与自动化告警
- 利用 Langfuse 的反馈机制（scores/annotations）构建人工评测与自动评测的闭环
3. 自动评测与 LLM-as-Judge
- 设计并实现自动评测流水线，减少人工评测成本
- 构建 LLM-as-Judge 体系，设计评测 Prompt、评分标准与 few-shot 样本，验证自动评测的可信度与人工一致性
- 针对主观维度（如回复质量、用户体验）设计校准机制，持续对齐自动评测与人类偏好
4. 评测反馈与质量闭环
- 基于评测结果进行归因分析，定位 Agent 在推理、规划、工具调用等环节的问题
- 输出版本对比报告，将评测洞察转化为可落地的迭代建议
- 与研发、产品团队协作，推动评测发现的问题闭环解决
5. 生产环境监控
- 建设线上 Agent 质量监控体系，及时发现性能退化与异常行为
- 设计并实现回归检测机制，防止新版本引入质量风险
职位要求：
必须项：
- 2 年以上软件工程经验，扎实的 Python 工程能力
- 熟练使用 Langfuse，具备基于 Langfuse 搭建评测流程、追踪 Agent 轨迹、收集反馈数据的实战经验
- 深入理解 LLM 原理与 Agent 工作机制
- 具备评测体系设计经验，能从业务目标出发定义评测维度与指标
- 熟悉 Prompt Engineering，能设计高质量的评测 Prompt 与评分标准
- 具备数据敏感度，能对评测结果进行统计分析并输出结论
加分项：
- 有从 0 到 1 建设评测平台或标注平台的经验
- 熟悉其他 LLM 可观测工具（如 LangSmith、Opik、Weights & Biases）
- 具备多模态 Agent 评测经验（文本、代码、图像等）