从生产使用中整理测试数据集变得更方便了,这听起来相当实用。

人们会提出各种事先没人想到要记录下来的需求。能把更多这类需求纳入测试就好了。

今天,@JudgmentLabs 开放通用访问。

我们相信,长时间运行的智能体系统产生的 exhaust data 将超过目前世界能够处理的数量。

智能体轨迹中隐藏着如何让这些系统变得更好的丰富记录:用户提出了什么需求、智能体何时出错,以及智能体如何与外部世界交互。

Judgment 是面向长时程智能体性能最强的监控与改进层。

我们很期待看到你们构建的作品!