跳到内容
跨境Ai视界 跨境Ai视界
返回

跑了近 100 轮 Harness Loop 后,我发现 Benchmark 一开始就错了

我有个项目,想利用 AI 自举,不断修正,实现一个 Harness Loop 的循环。但是跑了将近 100 轮后,我发现最开始的 benchmark 设置错了。

每一轮都在修,但变化并不大。慢慢到后面,就怎么也改不过来了。因为每一轮产出的东西,其实都被最开始的 benchmark 牵住了。

所以给我的感触是:如果要做这种 Harness Loop,最开始一定要把 benchmark 设对。

我当时设置的是自己的一个案例,但实际情况是,它再叠加一部分系统提示词框架之后,会把模型限制得很窄。

所以我现在调整 benchmark,从网络上公开的一些项目里找对标,再去跑新的轮数,看看调试效果如何。


更多跨境 AI、亚马逊运营、数据分析和工具实践,会同步在公众号: 跨境Ai视界
分享这篇文章:

上一篇
用飞书多维表格串起需求工作流
下一篇
我的跨境 AI 公司成立了:七个 Agent 的第一次协作测试