输出不是文本,而是选项的分数

TypeSafe AI 把 Jev 定义为面向机器而非面向人的模型:它不写回复,而是在软件内部输出带类型的判断与概率。用法是开发者先定义问题与允许的答案,模型对选项打分。文档里的例子是电商客服:客户来信说被重复扣款要求退款,系统要先把这封信分类——属于付款、配送还是退货问题,客户是要钱还是要解释。接入之后,软件把文本交给 Jev,拿回来的不是回信,而是「付款问题」这个标签外加一个概率,随后由程序按预设规则决定流向:付款问题转财务,退款请求打标,标签不清则转人工。

提速靠的是不做逐字生成

官方给出的响应时间是 70 到 500 毫秒,做法是跳过逐步生成文本、并行计算多个输出,因此在同一次调用里增加问题对耗时影响很小。这类延迟水平的意义在于:它可以被放进每条回复发出之前的检查环节,而不是像大模型那样只能放在异步流程里。

它不负责的部分才关键

报道里专门点明了一件事:Jev 只负责判断,执行与事实核实仍归软件。也就是说,被分类为「重复扣款」不等于钱会退回去,是否真的重复扣款还要回到交易记录里对账。把这层分工想清楚,才不会把一个概率输出当成业务结论来用。

分类、路由、校验这类任务,本来就不需要模型会写文章——为一次判断付一遍长文本的价钱和延迟,是被生成模型惯出来的习惯。