我有个项目,想利用 AI 自举,不断修正,实现一个 Harness Loop 的循环。但是跑了将近 100 轮后,我发现最开始的 benchmark 设置错了。
每一轮都在修,但变化并不大。慢慢到后面,就怎么也改不过来了。因为每一轮产出的东西,其实都被最开始的 benchmark 牵住了。
所以给我的感触是:如果要做这种 Harness Loop,最开始一定要把 benchmark 设对。
我当时设置的是自己的一个案例,但实际情况是,它再叠加一部分系统提示词框架之后,会把模型限制得很窄。
所以我现在调整 benchmark,从网络上公开的一些项目里找对标,再去跑新的轮数,看看调试效果如何。