绰瑞资产管理 ea jobs (salary & requirements)

我们正在寻找一位 AI Evaluation Lead，从零到一搭建量化平台的 AI 评估体系。
我们需要一位既懂 AI 系统评估、又理解量化业务本质的人，来设计一套可复现、可扩展、可信赖的评估框架。
这个角色的独特之处：你不是在做学术 benchmark，而是在构建一个让集体智慧持续进化的度量系统，用于真实决策。
________________________________________
你将负责
构建评估基础设施 (Evaluation Infrastructure)
• 设计并实现端到端的 Eval Harness：任务分发、并发执行、transcript 记录、结果聚合
• 建立稳定、可复现的评估环境，确保每次试验 (trial) 相互隔离
• 开发评估结果可视化工具，让团队能快速阅读 transcripts、定位问题
设计多维度评估体系 (Multi-dimensional Grading)
• 针对量化场景设计策略评估
• 评估 AI 的推理质量、信号解释能力、不确定性表达
• 与量化研究员协作，校准 LLM-as-Judge 的准确性
• 捕捉多步骤任务中的部分成功
构建评估任务集 (Evaluation Suites)
• 从真实失败案例中提取评估任务，确保评估反映实际使用场景
• 设计 Evals用于爬坡优化，Evals防止倒退
• 为每个任务创建 reference solution，证明任务可解且评分器正确配置
• 持续迭代评估集，避免 eval saturation
驱动持续改进 (Eval-driven Development)
• 建立 eval-driven development 文化：先定义成功标准，再迭代 Agent
• 设计 pass@k 和 pass^k 指标，平衡"找到一个解"与"稳定可靠"的需求
• 在新模型发布时快速评估、调整 prompt、加速升级
• 与研究团队协作，让评估成为产品与研究之间的高带宽沟通渠道
________________________________________
我们期待你具备
必备技能
• 3+ 年 AI/ML 系统评估经验，熟悉 LLM 评估方法论
• 深入理解 AI Agent 评估的独特挑战：多轮对话、工具调用、状态变化、非确定性
• 扎实的 Python 工程能力，能独立实现评估框架
• 理解 LLM-as-Judge 的设计与校准，知道如何避免 hallucination、提高一致性
• 优秀的 技术文档能力，能清晰定义任务规范和评分标准
加分项
• 有 量化金融背景，理解策略回测、风险管理、alpha 研究
• 熟悉主流评估框架或 benchmark（如 SWE-bench、τ-Bench、BrowseComp）
• 有 Coding Agent 或 Research Agent 评估经验
• 了解 Anthropic Claude、OpenAI 等主流模型的能力边界
• 参与过从 0 到 1 构建评估体系的经历
软技能
• 高度透明：愿意公开记录每个评估设计决策、失败教训、迭代过程
• 协作优先：相信评估体系属于整个团队，而非个人的秘密武器
• 追求本质：不满足于"分数提高了"，要追问"为什么提高，是否真的变好了"
• 阅读 transcripts 的耐心：愿意花时间逐条审阅 Agent 行为，建立直觉
________________________________________
这不适合你，如果…
• 你认为评估只是"跑个 benchmark 得个分数"
• 你习惯把评估方法当作个人优势不愿分享
• 你更喜欢追求 SOTA 分数而非真实业务价值
• 你不愿意承认评估设计可能是错的，需要持续迭代