每个节点的 key 来自一个小型 pooler,每个注意力层约 25K 参数。我们先从冻结的 Qwen3-4B 中逐层蒸馏出该 pooler,然后将其冻结并仅在 32K 序列上训练模型。

每种稀疏方法对每个 query 读取相同数量的条目,而 RecSA 在 131K 到 2M 的每个长度上都在 RULER 上排名第一。其领先优势从 131K 时的约 3 分增长到 1M 时的约 20 分,并在 32K 时与稠密注意力持平。