在单张 H200、batch size 为 1 的条件下,与同一框架内的稠密 FlashAttention 对比: • 524K 长度下 Prefill 耗时 80 秒,稠密注意力为 257 秒。 • 从 131K 到 524K,Decoding 稳定在每 token 约 6 ms,而稠密注意力从约 9 ms 增长到 23 ms。 • 在 1M 和 2M 长度下,将相应 token 卸载到主机内存后,RecSA 的 Decoding 分别为每 token 8 ms 和 11 ms;稠密注意力则需 177 ms 和 2.9 秒。 我们用 Triton 和 CUDA 编写这些 kernel,并且 e