幻觉指模型生成看似合理但实际错误或凭空捏造的内容。它不是 bug,而是概率生成模型的固有倾向,只能缓解、无法根除。

常见成因

  • 训练数据缺失或过时:模型没学过相关知识,只能「编」
  • 上下文不足:提示词信息太少,模型用猜测补全
  • 过度迎合:模型倾向给出肯定答案而非「不知道」
  • 奖励偏差:训练时鼓励流畅自信的答案

缓解手段(按成本排序)

  • 提示词约束:要求「不确定时明确说明」「只依据给定资料回答」
  • 提供资料:把答案需要的知识放进提示词(RAG),要求引用出处
  • 输出校验:程序侧对关键字段做格式与取值校验
  • 检索增强(RAG):知识类问答的标配方案
  • 微调:针对高频错误模式做针对性训练
  • 人工复核:高风险场景保留人审环节
工程实践上,把模型当「不可全信的信息源」,在系统层加校验与溯源,比指望模型自己变诚实更可靠。