上下文窗口写到一百万 token,已经是各家发布会的标配。但它只说明「能装多少」,不说明「装进去以后还能不能用」。这两件事经常被混为一谈,选型时就容易看错指标。

最近一组评测把长上下文的难度拆成了三个可量化的属性:证据范围,也就是要找到多少段材料;证据分散度,材料在全文里散得多开;推理深度,要几步推导才能得到答案。

结论先说:在上下文长度固定的前提下,这三个量都和得分负相关;把推理深度翻一倍,掉的分和把长度翻一倍差不多。

长度和难度,本来就不是一回事

这套评测用了 6,550 道题,来自 17 个公开来源,覆盖四个模型。它先做了一件很基础但很少人做的事:把「上下文长度」和「题目难度」的相关性算出来。

结果很干脆。对数长度和证据范围的相关系数是 -0.24,和分散度是 -0.18,和推理深度是 -0.01。长样本并不等于难样本。一份很长的文档,答案可能就藏在一段里;一份短一些的文档,反而要求你把散在五处的信息拼起来。

只看 token 数选模型,等于按箱子大小挑搬家师傅。

三个量里,哪个最贵

按题内四分位距算,从 25 分位走到 75 分位,得分变化是:

属性得分变化
证据范围-2.14 个百分点
上下文长度-1.66 个百分点
推理深度-1.60 个百分点
证据分散度-1.10 个百分点

单看这一列,差距不算大。麻烦在于它们会叠加。

题目在范围和分散度上都低的时候,得分比同任务同模型的均值高 3.6 个百分点;两项都高的时候,低 2.9 个百分点。中间是 6.5 个百分点的落差。

还有一组更隐蔽:164 道题在三个属性上都高于题内中位数,但没有任何一项超过 90 分位。这些题的平均得分比均值低 5.4 个百分点。没有哪一项特别极端,只是三样都中等偏上,分数就下去了。

分散度和深度同时高的那一格最低,低 8.0 个百分点。不过这一格有 62% 的题来自同一个数据集,去掉之后差距从 -6.7 缩到 -0.8 个百分点。作者自己也标了,这是待验证的观察,不是定论。

另一套测法,测不出衰减

同期还有一份预注册实验,用的是更传统的做法:固定一根针,草堆从短涨到长,看模型还能不能把针捞出来。四个模型,最长测到 15 万 token,登记了 12,570 次试验,其中 7,330 次真有针。

结果是没有测到长度导致的衰减。有针的 7,330 次里失败了 48 次,准确率 99.35%,失败率的 95% 置信上界是 0.87%。而且这 48 次全部集中在同一个模型的同一类探针上,最短的上下文里就已经出现,更像能力上限,不是「越长越糊涂」。

报告里还留了一个提醒:最初的评分脚本误判出一场「指令遵循崩塌」,换成按文档级拒答识别之后,那个指标回到 1.000。评分器本身会制造结论。

两份结果不矛盾

一份说长度会加剧失败,一份说没测到长度衰减。差别在题目形状。

针堆题考的是「定位加抄回」。证据就是一句话,位置随机,不需要跨段整合。这类能力在 15 万 token 内确实可以很稳。

前面那套题考的是「找到多处证据,拼起来,再推几步」。长度增加时,真正压垮模型的是证据之间的空白变多、需要同时保持在上下文里的东西变多。所以它的结论写得克制:长度本身不是唯一变量,长度在证据分散时才变得有害。

换句话说,前者测的是检索,后者测的是检索之后的推理。拿针堆成绩去承诺「长文档分析」,中间隔着一整段能力。

自己怎么测

不用等公开榜单。抽 50 到 100 条自己的真实文档,按三个维度标一下:

  • 答案需要几段材料,这是范围
  • 这几段在文档里隔多远,这是分散度
  • 从材料到答案要几步,这是深度

然后固定同一个提问模板、同一个评分口径,跑两遍。看的是分组后的差值,不是总分。如果模型在「单段、浅推理」组几乎满分,在「多段、分散、三步」组掉到一半,那它的长上下文能力对你的场景就是不够用,窗口写多大都不够。

评分也要人看。上面那份实验已经证明,自动评分器能把正常拒答读成崩溃。抽 20 条人工核对,比调评分脚本便宜。

哪里会翻车

第一,这类分析是观察性的。属性和得分一起变,不等于属性导致得分变化。真要证明因果,得固定证据和推理结构,只改周围的填充文本。

第二,难度标注有一部分是模型做的。两个标注者在推理深度上完全一致的比例是 65.6%,秩相关 0.48。方向可信,具体到某一题的绝对值别太当真。

第三,数据集集中度会放大结论。前面那格 -8.0 个百分点,去掉一个数据集就基本消失。看任何「某类任务特别差」的说法,先问这类题占了多少。

第四,窗口标称值和可用长度不是一回事。厂商标 1M,通常指最大输入,不含输出预算,也不含你得留出来的推理空间。真正压测时,按标称值的六到七成准备更稳。

结论

选长上下文模型,先别问窗口多大,问三件事:你的证据散不散、要几步推理、一次失败多少钱。前两个决定你需要什么能力,第三个决定你愿意为它付多少。

窗口是容量,不是能力。容量可以写在参数表上,能力只能在自己的文档上测出来。