他们控制了什么
合成环境最容易犯的错是「看起来很多,其实同质」。SynthAPI 把生成过程拆成三个可调旋钮:工具有多少种、任务有多少种、工具背后的数据库有多少种。作者在这三个维度上系统变化,跑了 458,752 个任务、训练 849 个模型,模型规模覆盖四档,然后看下游的真实工具调用基准表现。
得到的规律
第一,数据预算变大后,继续增加工具多样性和数据库多样性,比增加任务数量更有效;第二,提高任务复杂度带来的收益更大;第三,这些关系可以用一条缩放律预测,说明「合成多少、怎么配」不必完全靠试。按这套规律扩数据训练出的 agent,在四个评测基准上超过了此前工作训练的模型。
为什么值得看
很多团队做 agent 数据时,最容易做的是「再生成一万条相似任务」,最难做的是「再接五个真实系统、再覆盖三种数据库」。这篇论文把这个直觉变成了可测量的曲线:当预算还小时,加任务能快速见效;过了某个点,同质任务的边际收益下降,工具与数据库覆盖成为瓶颈。
限制
结论建立在合成环境上,真实 API 的鉴权、限流、错误码和文档质量都比合成环境脏;四个评测基准也不能覆盖所有工具调用形态。缩放律给的是方向,不是「照着数字配就一定能涨」。落地前仍要用自己的真实任务做一次小规模对照。
工具调用 agent 的数据瓶颈,通常不是任务不够多,而是它见过的世界太小。