一篇论文发现低基准分可以被精确制造,因此单看低分几乎无法说明模型能力。研究者训练了一个 LoRA“旋钮”,把 Qwen 模型拉向更小的 Qwen 模型,其对未见目标分数的误差在 1.9 分以内,而提示词诱导欠佳的偏差达 42 至 47 分。

但在多选题上,该旋钮最多 97% 的新增错误集中在同一个字母选项上,这一比例远超其模型池中任何自然模型。