评测工程师岗位职责

1、负责原材料评估；
2、负责原材料评估报告的编写审核；
3、负责原材料检验编制的制定；

职位描述
1. 负责视频生成、视频可控类应用、多模态理解大模型、音视频生成大模型及相关方向算法的项目交付质量，包括设计完善数据集、标注质量质检、质量验收以及评测报告输出；
2. 对音视频质量评估：对视频大模型生成的音视频进行主观质量评估，包括各类视频编辑、可控能力等。包括视频能力、音频的清晰度、流畅性、与视频内容的匹配度等，给出专业的主观评价意见；
3. 评测方案设计与执行：参与制定并执行评测方案，及测试集的设计。负责对标注团队进行培训，把控标注质量和评测结论的准确性。
4. 评测数据整理与分析：对评测过程中产生的数据进行整理和分析，及时发现音频生成中存在的问题，形成评测报告，为项目团队提供有价值的专业参考信息和针对性的改进建议，协助优化模型效果。
5. 竞品调研跟进 和竞品分析工作，参与算法效果分析、问题挖掘归因以及行业评测探索等方向
任职要求
【通用要求】
1、对业界主流文生图、文生视频、多模态大模型深度使用者优先（有竞对评测经验优先，如即梦、seedance、海螺等），有创作全流程经验优先
2、有美术、艺术、美学或者摄影功底的优先，数字媒体艺术、美术、设计、动画相关专业优先，编导、导演、摄影类、分镜师等经验、技术美术类、有影视拍片项目经历优先。
3、有AI算法测试、数据标注、工作经验，对于大模型/AIGC/方向有深入的理解经验者优先；
4、有代码编写经验优先，或者能运行脚本处理一些简单的数据文件优先
5、熟练使用word、excel等办公工具
6、逻辑清晰、思维敏捷，善于分析与总结，优秀的快速学习及抗压能力
7、对AIGC创作有经验和热情优先
或【有音频背景】
1. 音频相关经验或学历：录音、影视编导、影视配乐、音乐技术等专业。具备音频处理、音乐制作、音频工程等相关领域的学习背景或实践经验，对音频的基本概念和技术有一定的了解。
2. 有乐理知识者优先：熟悉乐理知识，包括但不限于各种音乐风格流派（如古典、流行、摇滚、爵士、电子等）、乐器特点（如弦乐器、管乐器、键盘乐器、打击乐器等）及其在音频中的表现形式，能够从音乐理论的角度对音频内容进行分析和评价。
3. 有音频类算法评测经验优先，包括TTS、AI音乐、音质音效等对大模型有了解，能够从模型性能、用户体验等多维度进行评测思考，具备一定的逻辑分析能力和问题解决能力。
4. 熟悉音频相关处理工具和影视音视频制作流程者，有影视行业制作经验者优先
5. 主观评测能力：具备较强的主观判断能力，能够凭借个人的听觉感受和专业经验，对音频质量进行准确、客观的评价可，可以将主观感受量化成客观标准，并能够清晰地表达自己的观点和理由。
简历需要具备的硬性要求
视频相关能力、音频相关能力、导演、编导、影视行业从业经历、AIGC创作经历
【工作内容】1. 负责视频生成、视频可控类应用、多模态理解大模型、音视频生成大模型及相关方向算法的项目交付质量，包括设计完善数据集、标注质量质检、质量验收以及评测报告输出；
2. 对音视频质量评估：对视频大模型生成的音视频进行主观质量评估，包括各类视频编辑、可控能力等。包括视频能力、音频的清晰度、流畅性、与视频内容的匹配度等，给出专业的主观评价意见；
3. 评测方案设计与执行：参与制定并执行评测方案，及测试集的设计。负责对标注团队进行培训，把控标注质量和评测结论的准确性。
4. 评测数据整理与分析：对评测过程中产生的数据进行整理和分析，及时发现音频生成中存在的问题，形成评测报告，为项目团队提供有价值的专业参考信息和针对性的改进建议，协助优化模型效果。
5. 竞品调研跟进 和竞品分析工作，参与算法效果分析、问题挖掘归因以及行业评测探索等方向
【基本条件】【通用要求】
1、对业界主流文生图、文生视频、多模态大模型深度使用者优先（有竞对评测经验优先，如即梦、seedance、海螺等），有创作全流程经验优先
2、有美术、艺术、美学或者摄影功底的优先，数字媒体艺术、美术、设计、动画相关专业优先，编导、导演、摄影类、分镜师等经验、技术美术类、有影视拍片项目经历优先。
3、有AI算法测试、数据标注、工作经验，对于大模型/AIGC/方向有深入的理解经验者优先；
4、有代码编写经验优先，或者能运行脚本处理一些简单的数据文件优先
5、熟练使用word、excel等办公工具
6、逻辑清晰、思维敏捷，善于分析与总结，优秀的快速学习及抗压能力
7、对AIGC创作有经验和热情优先
或【有音频背景】
1. 音频相关经验或学历：录音、影视编导、影视配乐、音乐技术等专业。具备音频处理、音乐制作、音频工程等相关领域的学习背景或实践经验，对音频的基本概念和技术有一定的了解。
2. 有乐理知识者优先：熟悉乐理知识，包括但不限于各种音乐风格流派（如古典、流行、摇滚、爵士、电子等）、乐器特点（如弦乐器、管乐器、键盘乐器、打击乐器等）及其在音频中的表现形式，能够从音乐理论的角度对音频内容进行分析和评价。
3. 有音频类算法评测经验优先，包括TTS、AI音乐、音质音效等对大模型有了解，能够从模型性能、用户体验等多维度进行评测思考，具备一定的逻辑分析能力和问题解决能力。
4. 熟悉音频相关处理工具和影视音视频制作流程者，有影视行业制作经验者优先
5. 主观评测能力：具备较强的主观判断能力，能够凭借个人的听觉感受和专业经验，对音频质量进行准确、客观的评价可，可以将主观感受量化成客观标准，并能够清晰地表达自己的观点和理由。
简历需要具备的硬性要求：视频相关能力、音频相关能力、导演、编导、影视行业从业经历、AIGC创作经历

岗位职责
1. 版本运行时评测：包括版本的实时评测，例如节点评测，需要构建快速的自动化评测方案，并上数据平台
2. 评测数据集构建：大量的外场数据集构建，处理为适合评测的数据集，用于评测模型性能指标，泛化指标，用于指导算法迭代方向，端到端功能评测数据集构建及指标构建
3. 功能评测：感知算法涉及的功能，都需要构建功能评测集，例如更新算法后，用户指点悬停的精度变化，用户飞行时误刹停指标，误报警指标评测
4. 节点评测：感知所有节点每个版本的帧率变化，数据量变化，节点数值域变化，是否覆盖全量数值范围，是否符合预期，变化趋势分析，问题分析
5. 模型评测：模型指标统计，对多个评测集版本进行对比评测，对模型版本，数据版本，指标版本进行管理，交叉评测
6. 传统算法评测：包括SLAM Marker，栅格建图，ESDF，后融合，Marker跟踪算法等传统算法构建评测集，并形成自动化评测，外场采集、测试、用户回传数据构建评测数据集，指导算法迭代
任职资格
1. 学历背景：计算机、人工智能、自动化、机器人或相关专业硕士及以上学历。
2. 技术基础：熟悉感知算法（如SLAM、栅格建图、多传感器融合、3D感知等），了解深度学习与传统算法原理。
3. 评测经验：有构建自动化评测体系的经验，能设计功能、节点、模型等多维度评测指标和数据集。
4. 数据能力：能处理外场/用户回传数据，构建高质量评测集，并支持泛化性、鲁棒性等分析。
5. 工程能力：熟练使用 Python/C++，具备自动化脚本开发和数据平台对接经验。
加分项：
了解自动驾驶、飞行汽车、机器人等高维感知系统者优先；参与过量产感知系统的质量保障工作优先。