塔斯娱乐资讯网

Agent基础评测入门,从benchmark到归因 [皱眉]抛砖引玉一下,非常基

Agent基础评测入门,从benchmark到归因
[皱眉]抛砖引玉一下,非常基础简单的评测框架,参考了美团技术团队的帖子。适合小白入门。

2 链路各环节

2.1 确定评测目的
(好吧我是懒人,图里面的表格都不想手动转文字)
要回答的问题:这套评测的结果,要支撑什么决策?
输入:业务方的诉求、Agent 当前所处的阶段。

2.2 评测集构建
先了解通用的是怎么做的:调研公开的评测集
再结合业务场景、底线问题,设计评测集的基本结构

2.3 评测标准设计
比如。评测标准构建 根据业务关心的问题,制定评测维度并下拆对应的指标。并定义取数口径和评测Schema(参考了美团技术最近发布的资料)
是否暴露底线→风险问题
是否理解用户诉求→意图理解
是否遵循执行路径→过程质量
过程和结果是否有据可依→工具与事实一致率
结果是否可交付→结果质量
是否稳定解决问题→稳定性
是否高效运行→成本与延时

2.4 评估器创建和校准
确定性 Grader:用脚本或规则判定,同样的输入永远得到同样的结果。能从 Trace 或终态里精确取证、答案唯一。比如:日期参数、必要步骤、报告字段是否存在
LLM Grader:让大模型按 Rubric 判定,需要理解业务语义和证据之间的关系。比如:结论是否忠实于数据、表述是否模糊

评测的校准集和GT:理论上应该有一套业务专家已经校准好全套答案用来回归的golden set的校准集

评测环境和体系:封装为pipeline

评估器的校准:跑校准集,看是什么问题。
1️⃣分析通过率和一致率
2️⃣下拆评测体系问题

2.5 问题定位和修复
评测后怎么发现问题?
看rubric下拆,结合trace定位

发现问题怎么归因?
缺啥补啥,Agent问题、skill问题、tool问题、评测体系、环境版本问题等等

归因解决后怎么评价是否解决?
1️⃣从校准集看,是否保证其他功能正常?
2️⃣从离线看,各个指标是否提升
3️⃣从线上看,看同类问题是否解决;看商家行为:某个功能点使用率上升;看业务结果(如ARPU上升)

电商 互联网大厂 产品评测 产品运营 产品经理