Virtual Head Attention：把 KV 缓存砍到 1/4，推理时还能折回标准 GQA-2

arXiv 2610.17959 的 Virtual Head Attention 盯的是长上下文模型的「不可能三角」：KV 缓存大小、训练与预填充算力、模型质量，三者很难同时占优。GQA 质量好但缓存大，MLA 能压缓存却掉质量，MFA 压了缓存但训练与预填充更贵。VHA 的办法是加两个线性操作：Q Premix 在每个 KV 组内对 query 做近恒等变换，从减半的物理 query head 里恢复「虚拟头」的多样性；Linear Postmix 用低秩的 I + AB^T 残差融合头间特征。因为全是线性操作，推理时 Premix 可以折进 query 投影、Postmix 折进输出投影，模型等价于标准 GQA-2，现有 GQA 推理优化可以直接复用。作者在四个规模、4K 上下文、500 亿 token 预训练上做了对比：每个规模都略高于 GQA 基线（+0.05% 到 +0.81%），稠密模型 KV 缓存相对 GQA-8 降到 1/4，MoE 规模相对 GQA-4 降到 1/2，训练与预填充 FLOPs 降 7.9%。在一个 30B-A3B、8K 上下文、5000 亿 token 的工业模型上，VHA 在 12 个基准上比 MLA 高 0.70%、比 GQA-4 高 2.60%；另一个 10B-A1B 的对照里，8K 到 128K 的平均 RULER 为 84.4，GQA 是 73.0。