真实用户反馈比任何公开数据集都值钱。把「用户怎么用、结果好不好」收集起来,回流成训练与评测数据,就是数据飞轮。

飞轮四步

  1. 采集:记录输入、输出、用户行为(点赞、复制、投诉、重试)
  2. 标注:抽样人工标注好坏,定义「好」的标准
  3. 回流:好样本进微调/提示词模板,坏样本进评测集
  4. 评估:每次模型/提示词更新先跑回归,再灰度上线

落地要点

  • 别只采「对话」:工具调用、修改记录、最终产物更有价值
  • 隐私优先:反馈数据去标识化,明确留存期限
  • 样本分层:高频场景多采,长尾场景保住覆盖
  • 节奏:小步快跑,每周一个版本比憋大招稳
没有数据飞轮的 AI 产品,上线那天就是它最好用的那天。