UC Berkeley 博士生 MangQiuyang 与 lihanc02 在 Arena HQ 介绍 FrontierCS 2,该基准要求 AI 智能体在看不到原论文、无网络访问的条件下超越已发表方法。两人讨论了成本与性能的权衡及评测作弊问题,例如用搜索绕过强化学习、复用缓存的图算法结果。

他们还谈到可靠评测需要什么,以及为何人类的研究判断仍然重要。