同一套 API,换引擎
AnySpeechRecognizer 镜像 Apple 的 SpeechAnalyzer、SpeechTranscriber、SpeechDetector、AssetInventory,默认用苹果引擎;换 Parakeet 或 Qwen3-ASR 只需改创建 transcriber 的方式。模型转成 Core ML 放在 Hugging Face Hub,覆盖 0.6B 到 1.7B,含中文 ASR 与流式说话人分离,适合把「谁在说」也一起记录的场景。
决策模型不生成文本
AnyDecisionModel 处理是/否、多选、评分题,输出带概率的类型化结果,从模型概率直接取答案,而不是让模型写一段话再解析。可跑在设备上的 MLX、Core AI、llama.cpp,也可接 Jev、Ollama。对分流、打标、问卷这类任务,省掉生成 token 和解析失败。
为什么这事重要
端侧 AI 过去卡在接口碎片化:每个模型一套调用、一套量化、一套下载逻辑。把多家模型套进系统 API 后,换引擎变成配置问题,产品可以按机型、语言、功耗选模型,而不是被一家绑定。对需要离线运行的录音、医疗、工业场景,这是从 demo 走向可维护产品的关键一步。
上手建议
先量首字延迟、离线准确率、包体积三项。短指令场景 0.6B 够用;长会议记录再考虑 1.7B。决策类先用概率模型做基线,再决定要不要上生成式。别忘了核对每个模型的许可证:CC BY 4.0、Apache-2.0 和 NVIDIA Open Model License 的商用条件并不一样。
端侧 AI 的竞争,正在从「谁的模型强」转向「谁换模型更容易」。