一篇 11 月 10 日提交到 arXiv 的论文(2611.13607)做了一件极端的事:拿已经训练好的 Qwen3.8-27B,把词表从 248,320 缩小到 384——256 个字节符号加特殊符,让模型每生成一步只前进一个字节。作者是 Landi Lab 的 Liwei Zhang 与 ZhiMing Tong。

只动了两端

改造只碰 embedding 与 lm_head:两部分各从 248,320×5,120(约 12.7 亿参数)缩到 384×5,120(约 200 万),语言模型主体从 269 亿降到 244 亿。64 层主干(48 层 Gated DeltaNet 加 16 层全注意力)完全不动,4.6 亿参数的视觉塔保持冻结。因为 256 个字节符号本来就在原 BPE 词表里,不需要额外的初始化技巧,全部难度转移到继续训练上。

训练与代价

继续训练用了 47.7 亿字节的监督数据,分两阶段:M1 用字符字典、词字典和通用对话教字符与字节的互转,M2 混入维基文本(占监督字节的 54%)补知识。总成本约 178.6 小时、8 张 H200、约 1430 GPU 小时。一条硬规矩是:所有对话监督都由原模型自己在线生成,作者测过四种用外部数据写的配方,全部掉 5 到 14 分。

效果上,非思考模式的平均分普遍上涨:CUTE 75.2 到 84.0,EXECUTE-zho 81.6 到 93.9,作者自建的中文字符集 54.4 到 64.0。原模型也能做这些,但必须开思考——每项要花几千 token,del_word 平均 3306 token、100 条里 36 条撞上限。代价也明确:C-Eval 从 89.9 掉到 85.4,中文每秒字符从 33.1 掉到 7.7,约为原来的四分之一。

一个字节一步,换来的是「不用想就能改字」;付出去的是四分之三的生成速度。