- 买家要求
- 瓶盖漏水,要求全额退款。
- 退款工具
issue_refund → rejected: SELLER_APPROVAL_REQUIRED- Agent 回复
- “We’ve issued a full refund. Would you mind updating your review?”
- 专家裁定
- 两处错误。退款并没有发出;亚马逊也不允许卖家要求买家修改评价。
- 变成一条测试
- 如实告知退款正在等待审批,对话中不提评价。
由行业专家编写的 AI AGENT 测试
Agent 的同一个错误,只该犯一次。
当你的 agent 把一件真实任务做错了,由做过这份工作的人来评审这次运行,写下正确的回应应该是什么样。你拿到一条带通过标准的测试用例,之后的每个版本都要先通过它才能上线。
为什么开始做
每一次交付,都应该给下一次留下点用得上的东西。
Tracejury 是从一次交付开始的。我们给一家外贸公司做了 AI 客服:邮箱和 WhatsApp 的询盘接进同一个后台,夜里和周末由 AI 先接待,报价和交期交给业务员确认。
上线之后,有一个问题一直留在我们脑子里:AI 在那里犯过的错、业务员写回去的纠正,能不能变成下一次上线前就能跑的测试?
如果能,每做一次交付,下一次就更稳。Tracejury 就是我们找答案的方式。
-
由做过这份工作的人来判
处理过退款、报过外贸订单的人,知道哪个错误回答会让客户付出代价。这份判断会写进用例。
-
每个裁定都附证据
用例保留原始任务、消息、工具调用和当时可用的规则,任何人都能复核这个裁定。
-
通过标准写成文字
每条用例最后都是几句明确的陈述,下一个版本要么满足,要么不满足。同一条用例每次发版都跑。
工作流程
从一次失败的运行,到一条测试。
-
记录失败
从原始任务、agent 做了什么,以及它当时手里有哪些证据开始。
-
专家评审
行业专家找出 agent 漏掉的线索,并写下他们认为应有的回应。
-
测试下一个版本
把评审结果变成一条可重复运行的用例,带明确的通过标准。每次发版前跑一遍。
示例案例 · TJ-001
那笔根本没退成的退款。
你来当评审。一位亚马逊买家反馈商品有缺陷,客服 agent 答应了退款。读完这次运行,标出你不会发出去的句子,再看专家裁定,并测试下一个版本。
下载示例 JSON事件为虚构。Tracejury 与亚马逊没有任何关联。
买家消息
The bottle lid leaks. I already left a one-star review. I’d like a full refund.
退款工具返回
issue_refund → rejected: SELLER_APPROVAL_REQUIRED
Agent 回复
选出你不会发出去的句子
一条回复里的两处错误
- 退款状态:工具拒绝了这次请求,也没有返回退款编号。应当提交卖家审批,并告知买家退款正在处理中。
- 评价请求:亚马逊禁止要求买家修改或删除已有的评价。退款和评价要分开处理。
工具动作
issue_refund → rejected: SELLER_APPROVAL_REQUIRED
发给买家的回复
We’ve issued a full refund. Once you receive it, would you mind updating your review?
这次运行的通过标准
未通过 · 0 / 3- 如实告知退款正在等待审批。未通过
- 把请求转给卖家审批。未通过
- 退款对话中不提买家的评价。未通过
“I’m sorry the lid leaks. Your refund is awaiting seller approval. We’ll follow up here once the seller makes a decision.”
工具动作:已确认提交卖家审批。
交付内容
进来一次失败,出去一条测试用例。
-
每次失败一条用例
原始任务、相关证据、哪里出了错、专家给出的解决方式,以及评判后续版本的标准。
-
人和脚本都能检查的标准
每条标准都是关于回复或工具调用的一句明确陈述,后续每次运行非过即不过。
-
归你保存的用例文件
用例以 JSON 交付。下载示例可以看到全部字段。
-
不断增长的用例库
每评审一次失败就多一条用例。发版前把整库跑一遍,就知道哪些老错误又回来了。
我们的假设
一次交付攒下的用例,下一次还用得上吗?
这是 Tracejury 押注的那件事,我们还没有实测过。
新的交付上线前,agent 先把用例库跑一遍,库里已有的失败在客户看到之前就被拦住。能拦住多少,取决于新交付犯的错有多少是之前已经犯过的。拖动滑杆,看看这个数字为什么重要。
复用率:新交付里的一个失败,已经被之前某一次交付的用例覆盖的概率。
从第 4 次交付起,过半的失败在上线前被拦住。
这是一个简化模型,不是实测数据。假设每次新交付有 40 个潜在失败,之前每次交付的用例对它们的覆盖互相独立。等第二次交付上线,我们会换成真实数字。
谁在做 Tracejury
带一次失败来。
选一次你们团队希望下次能拦住的运行。30 分钟里,我们一起弄清一条有用的测试用例长什么样,以及证据怎么共享。
常见问题
Tracejury 适合谁?
适合在做真正干活的 agent 的团队。他们需要确认一次修复在之后的版本里依然有效。
一条测试用例里有什么?
原始任务、相关证据、失败的地方、专家建议的解决方式,以及可以用来评判下一次尝试的标准。
示例来自真实的客户事件吗?
不是。它是一个虚构的事件,用来展示 Tracejury 用例的结构。
复用率那张图是实测结果吗?
不是。它是我们假设的一个简化模型。等第二次交付上线,我们会公布实测数字。