它解决的具体问题

常规 OCR 模型处理长文档时，文本和图像之间的注意力会随页数增长而膨胀：前面几十页还能保持结构，到了后面就开始丢表格、串行、漏字段。百度的做法不是把上下文再加大，而是把「要参考的历史」压成一个固定大小的窗口——论文里给的例子是 512 token 的工作参考集，每步只在这个集合上做注意力。

SR-SWA 怎么工作

SR-SWA 全称 Sparse Reference Sliding Window Attention。它把超长序列里的文本-视觉交互，压缩到一组稀疏的参考 token 上，计算复杂度被固定住，显存也不会随页数线性上涨。官方说法是：在有限上下文窗口里做到「无上限」的文档解析，同时消掉二次注意力带来的显存瓶颈。

官方给了哪些可核对的点

  • 10 月 27 日发布模型，同时放出 MarathonDocBench 基准集，专门测上百页文档。
  • 官方称在 MPDocBench（几十页）和 MarathonDocBench（上百页）上都达到 SOTA。
  • 支持 Transformers 单页与多页推理；多页模式把所有页放进一次请求，保留跨页上下文。
  • 服务端推荐 SGLang，并提供分页窗口、单页输出上限等环境变量；A800-80GB 是官方测试硬件。

部署前要自己量什么

「无上限」是官方对注意力机制的说法，不等于你的业务可以无限喂页。实际部署还要看单页输出上限、分页窗口大小、KV cache 复用策略，以及 PDF 转图的质量。最稳的验证方式是拿一份 200 页以上的真实合同或财报，分别抽首页、中段、尾页各 10 个字段，比较三次抽取的一致性；再把单页耗时和显存峰值记下来，跟现有流水线对比。

长文档解析的胜负，不在第一页识别得多准，而在第 300 页还认不认得第 3 页的表头。