vLLM 11 月 17 日发布 v0.34.0:可扩展 KV 缓存设为默认,按预热后实际空出来的显存计算缓存大小,不再用固定比例硬切——多数模型因此直接拿到更大的缓存和更高吞吐。官方数据:Blackwell 与 MI355X 上解码最高提速 1.95 倍,GLM-5.3-Flash 吞吐提升 1.6 倍,GLM-5.3 长提示首 token 延迟快 1.24–1.40 倍。GPU 执行器此版本起只剩 Model Runner V2,旧版已移除。
升级注意三处破坏性变更:默认 block size 从 16 改成 64,想保留旧行为需显式传回原参数;ROCm 7.2 镜像下线,需换 ROCm 10.0;huggingface_hub 最低版本要求 2.0.0。仓库当前约 9.7 万星。