最近看到一个开发者分享了他测试 AI Agent 的经历,看完挺有感触。
他做了一个帮人订机票订酒店的 Agent,叫 SkyTrip。你告诉它要去哪儿,它帮你查航班、订房间、刷卡、发确认邮件,一条龙搞定。他自己用了很多次都没问题,就觉得可以给别人用了。
然后他用了一个叫 Plurai 的工具来测试。这个工具会模拟一群“假客户”跟你的 Agent 对话,每个人都有自己的性格。有个面包师傅凌晨边揉面边用手机订票,说话特别简短;有个经理加班到深夜,反复说“先告诉我多少钱再扣款”;还有人信用卡被拒了,有人特别着急想一口气全搞定。
先说第一个问题。那个经理明明说了“先报价再收钱”,SkyTrip 直接把钱扣了,然后才回复“付款成功,航班已确认”。有时候它倒是报了价格,但那是在扣完钱之后。你想想,真碰到这种客户,人家就提了一个要求,你直接无视还把钱扣了。
再说第二个问题。面包师傅一开始要订往返机票,后来改主意了,说“算了就单程吧,11号走”。很正常的一句话对吧?结果 SkyTrip 接着问她:你想几号回来?她刚才还说不要回程了。更离谱的是,另一轮测试里,它直接给她订了往返。
第二个 bug 更吓人的地方在于,它不是每次都出错。有时候 Agent 能理解客户改了主意,有时候又不行。如果开发者自己测的那次刚好没出错,他就觉得没问题直接上线了。但用户不管你“大多数时候没事”,碰上那一次出错的人就再也不来了。
修复方法特别简单。两个 bug 都出在同一个地方:Agent 的指令太短了,就一句“帮客户订行程,完了告诉他”。它从没被告知要等客户点头再扣款,也没被告知客户改了计划得重新确认。修复就是在指令里加了两句话:扣款前先报总价,等客户说好再动;客户改了行程,先把新方案复述一遍再操作。没改一行代码,没加一个新功能。
这篇文章给我最大的感受是,很多 Agent 的问题根本不在代码里,就在于你给它的指令少了几句话。但你自己永远发现不了少了哪句,因为你太了解自己的 Agent,测试的时候会不自觉地说得很清楚、很完整。真正的用户可不会这样。
科技先锋官How I AI
