它测的不是做题

多数税务评测从一道定义好的问题开始:算一张表、答一个法条、补一项缺失信息。DAYJOB: Tax 反过来,先给一段不完整的客户请求和一堆杂乱材料,让 agent 自己判断该查什么、哪些证据互相冲突、哪些问题客户根本没提。交付物可能是报税表、工作底稿、技术复核,也可能是一封给客户的建议信。

任务长什么样

50 个环境覆盖八个税务领域:个人与家庭、小企业、合伙企业、房产与投资、遗产赠与与信托、国际税、公司交易、税务复核与争议。共 1,789 个工作区文件,中位数每个任务 30 份、最多 123 份,包括 1,487 个 PDF、117 个 Excel、38 个 Word,还有邮件、图片、CSV、JSON 和文本。里面有已申报和草稿税表、K-1、W-2、IRS 通知、总账、工资记录、合同和往来函件,也有一张手写收据的照片。

成绩单

按 pass@1、95% 评分门槛计算,Claude Sonnet 5.5 为 10.8%,Claude Fable 5.1 为 9.6%,Claude Opus 5.5 为 9.2%。也就是说,即便是榜首,五次里也未必有一次能把一份专业税务任务做到评分标准的 95%。Surge 的结论很直接:单个步骤会做,不等于能承担一整段专业工作。

两个能说明问题的失败

第一个案例里,客户在比较卖房的两种成交时间,两个日期都满足自住年限要求。Astra 算对了,但五次尝试都没提醒客户:按规则,她大约在 2027 年 8 月底之后就会失去这项资格,交易再拖就可能多缴一大笔税。第二个案例里,一对夫妻问怎么分退休账户,Opus 5.5 五次都建立在「你们没有合法结婚」的假设上,尽管材料里已经有在德州共同居住、在科罗拉多办过仪式的记录,足以要求它先核实婚姻状态。

怎么用这个结果

不要把 10.8% 理解成「模型没用」。它更像一张分工表:格式整理、材料检索、初稿撰写可以交给 agent;涉及身份、期限、跨州规则和不可逆金额的节点,必须留人工复核。采购时也要问清楚,供应商报的是「答对题」的分数,还是「发现问题」的分数,两者不是一回事。

专业工作的分水岭,不是客户问什么你答什么,而是客户没问的那件事你有没有看见。