斯坦福 CS 329Z 讲座：AI Agent 评测基准设计

推文介绍了斯坦福 CS 329Z 课程第 13 讲内容，聚焦 Agent 评测基准的设计与信度问题。讲座系统梳理了从 SQuAD、GLUE 到 MMLU、Humanity's Last Exam 等语言模型评测的演进，以及从 AlpacaEval 到 AIR-Bench 等 Agent 类评测的发展。

作者阐述了基准的七项标准：挑战性、真实性、区分度、可运行性、可验证性、可解释性、耐用性。讨论了如何让分数可信——包括公平性、可复现性、透明度和诚实度。

推文包含 TextWorld、ALFWorld、WebShop、SWE-bench、OSWorld、Terminal-bench 等代表性基准的分析，以及如何避免古德哈特定律。