Tracejury

由行业专家编写的 AI AGENT 测试

Agent 的同一个错误,只该犯一次。

当你的 agent 把一件真实任务做错了,由做过这份工作的人来评审这次运行,写下正确的回应应该是什么样。你拿到一条带通过标准的测试用例,之后的每个版本都要先通过它才能上线。

亚马逊卖家客服 示例案例
买家要求
瓶盖漏水,要求全额退款。
退款工具
issue_refund → rejected: SELLER_APPROVAL_REQUIRED
Agent 回复
“We’ve issued a full refund. Would you mind updating your review?”
专家裁定
两处错误。退款并没有发出;亚马逊也不允许卖家要求买家修改评价。
变成一条测试
如实告知退款正在等待审批,对话中不提评价。

为什么开始做

每一次交付,都应该给下一次留下点用得上的东西。

Tracejury 是从一次交付开始的。我们给一家外贸公司做了 AI 客服:邮箱和 WhatsApp 的询盘接进同一个后台,夜里和周末由 AI 先接待,报价和交期交给业务员确认。

上线之后,有一个问题一直留在我们脑子里:AI 在那里犯过的错、业务员写回去的纠正,能不能变成下一次上线前就能跑的测试?

如果能,每做一次交付,下一次就更稳。Tracejury 就是我们找答案的方式。

  • 由做过这份工作的人来判

    处理过退款、报过外贸订单的人,知道哪个错误回答会让客户付出代价。这份判断会写进用例。

  • 每个裁定都附证据

    用例保留原始任务、消息、工具调用和当时可用的规则,任何人都能复核这个裁定。

  • 通过标准写成文字

    每条用例最后都是几句明确的陈述,下一个版本要么满足,要么不满足。同一条用例每次发版都跑。

工作流程

从一次失败的运行,到一条测试。

  1. 记录失败

    从原始任务、agent 做了什么,以及它当时手里有哪些证据开始。

  2. 专家评审

    行业专家找出 agent 漏掉的线索,并写下他们认为应有的回应。

  3. 测试下一个版本

    把评审结果变成一条可重复运行的用例,带明确的通过标准。每次发版前跑一遍。

示例案例 · TJ-001

那笔根本没退成的退款。

你来当评审。一位亚马逊买家反馈商品有缺陷,客服 agent 答应了退款。读完这次运行,标出你不会发出去的句子,再看专家裁定,并测试下一个版本。

下载示例 JSON

事件为虚构。Tracejury 与亚马逊没有任何关联。

亚马逊卖家客服 TJ-001

买家消息

The bottle lid leaks. I already left a one-star review. I’d like a full refund.

退款工具返回

issue_refund → rejected: SELLER_APPROVAL_REQUIRED

Agent 回复

一条回复里的两处错误

  • 退款状态:工具拒绝了这次请求,也没有返回退款编号。应当提交卖家审批,并告知买家退款正在处理中。
  • 评价请求:亚马逊禁止要求买家修改或删除已有的评价。退款和评价要分开处理。
亚马逊的评价政策

工具动作

issue_refund → rejected: SELLER_APPROVAL_REQUIRED

发给买家的回复

We’ve issued a full refund. Once you receive it, would you mind updating your review?

这次运行的通过标准

未通过 · 0 / 3
  • 如实告知退款正在等待审批。未通过
  • 把请求转给卖家审批。未通过
  • 退款对话中不提买家的评价。未通过
通过

“I’m sorry the lid leaks. Your refund is awaiting seller approval. We’ll follow up here once the seller makes a decision.”
工具动作:已确认提交卖家审批。

交付内容

进来一次失败,出去一条测试用例。

  • 每次失败一条用例

    原始任务、相关证据、哪里出了错、专家给出的解决方式,以及评判后续版本的标准。

  • 人和脚本都能检查的标准

    每条标准都是关于回复或工具调用的一句明确陈述,后续每次运行非过即不过。

  • 归你保存的用例文件

    用例以 JSON 交付。下载示例可以看到全部字段。

  • 不断增长的用例库

    每评审一次失败就多一条用例。发版前把整库跑一遍,就知道哪些老错误又回来了。

我们的假设

一次交付攒下的用例,下一次还用得上吗?

这是 Tracejury 押注的那件事,我们还没有实测过。

新的交付上线前,agent 先把用例库跑一遍,库里已有的失败在客户看到之前就被拦住。能拦住多少,取决于新交付犯的错有多少是之前已经犯过的。拖动滑杆,看看这个数字为什么重要。

25%
每次错得都不一样每次错得差不多

复用率:新交付里的一个失败,已经被之前某一次交付的用例覆盖的概率。

漏到客户面前 上线前拦住 柱顶数字是 40 个失败里漏出去的个数。从左到右是第 1 到第 8 次交付。

从第 4 次交付起,过半的失败在上线前被拦住。

这是一个简化模型,不是实测数据。假设每次新交付有 40 个潜在失败,之前每次交付的用例对它们的覆盖互相独立。等第二次交付上线,我们会换成真实数字。

谁在做 Tracejury

Chenyu Zhang联合创始人兼 CEO

在滑铁卢大学读计算机,在 UIUC 研究多步骤 agent。搭过一套系统,用执行记录核对 agent 完成了哪些步骤、在哪里偏离了要求。

田云生联合创始人,增长与销售

运营过三年亚马逊店铺,负责客服、选品和广告;之后交付了 Tracejury 的第一个项目,为一家外贸公司搭建 AI 客服。

带一次失败来。

选一次你们团队希望下次能拦住的运行。30 分钟里,我们一起弄清一条有用的测试用例长什么样,以及证据怎么共享。

常见问题

Tracejury 适合谁?

适合在做真正干活的 agent 的团队。他们需要确认一次修复在之后的版本里依然有效。

一条测试用例里有什么?

原始任务、相关证据、失败的地方、专家建议的解决方式,以及可以用来评判下一次尝试的标准。

示例来自真实的客户事件吗?

不是。它是一个虚构的事件,用来展示 Tracejury 用例的结构。

复用率那张图是实测结果吗?

不是。它是我们假设的一个简化模型。等第二次交付上线,我们会公布实测数字。