Ternary Bonsai 2 扩到 2B / 4B / 9B:权重只取 −1、0、+1,9B 落盘 2GB,官方自己列出掉得最狠的是知识问答与视觉
十月十五日,PrismML 把 Ternary Bonsai 2 扩到 2B、4B、9B 三个新尺寸:基于 Qwen3.5 做三元量化(权重只取 −1、0、+1 三种值),三者落盘体积分别是 0.43GB、0.95GB 和 2GB,比同尺寸全精度版本小 9 倍以上。官方在 19 个基准上逐项对比了同尺寸 Qwen3.5 全精度版本:指令遵循与数学上几乎不掉甚至反超(2B 的 IFBench 48.00 对 34.33、GSM8K 80.74 对 65.96),六大能力域的整体保留率多在 90% 以上;掉得最多的是知识与推理(2B 为 82.9%,其中 GPQA Diamond 只有 67.7%)和视觉(各尺寸约 89% 到 92.5%)。吞吐与能耗方面,在 RTX 4090 与 M5 Pro 上官方称最多 5 倍吞吐、3 倍能效:M5 Max Pro 上 9B 到 179 tok/s、2B 到 310 tok/s,iPhone 18 Pro Max 上 9B 为 34 tok/s、2B 为 120 tok/s。它同时跑 NVIDIA 显卡(llama.cpp)与 Apple 设备(MLX),权重用 Apache 2.0 放出,9B 可以在 console.darkbloom.dev 上试。