推文介绍了斯坦福 CS 329Z 课程第 12 讲内容,聚焦 Agent 训练数据的筛选问题。讲座探讨了三个核心问题:哪些任务值得做强化学习,哪些轨迹值得做模仿学习,数据要多还是要精。
作者分享了多个案例,如 Meta CWM 通过去除相似轨迹提升数据质量,SWE-bench Verified 通过过滤不清晰的问题描述提高评测可靠性;CodeMidas、DAPO、LEGO-RL 等项目的筛选方法;以及 LIMI 等精选数据集与 Orchard 等大规模数据的对比,指出数据规模与精选的权衡。
微资讯 · 来源报道
推文介绍了斯坦福 CS 329Z 课程第 12 讲内容,聚焦 Agent 训练数据的筛选问题。讲座探讨了三个核心问题:哪些任务值得做强化学习,哪些轨迹值得做模仿学习,数据要多还是要精。
作者分享了多个案例,如 Meta CWM 通过去除相似轨迹提升数据质量,SWE-bench Verified 通过过滤不清晰的问题描述提高评测可靠性;CodeMidas、DAPO、LEGO-RL 等项目的筛选方法;以及 LIMI 等精选数据集与 Orchard 等大规模数据的对比,指出数据规模与精选的权衡。