把本地编码模型接进日常之前:先量首 token、显存和一次通过率
Flint 这类端侧编码模型开始变得可用,但「能跑」和「能替你干活」是两件事。接入前先量四个数:模型加载后的内存占用、首 token 延迟、解码速度、以及在你仓库真实任务上的一次通过率。测试任务不要用「写一个快排」,而是从最近两周的提交里挑三类:补一个缺失的单元测试、修一个能复现的小 bug、写一个一次性脚本。每类跑 5 个,记录是否需要人工改、改了几处、有没有引入新错误。Flint 是 40B 总参数、2.5B 激活的 MoE,官方测试在 M4 Pro 上约 131 token/s,但你的机器、量化方式和上下文长度都会改变结果。只有一次通过率和云端模型接近、且任务确实涉及不能外发的代码时,本地部署才划算。