大模型「幻觉」：它在编什么、怎么防、和 RAG 啥关系
一、背景
用大模型写文档、写代码、做客服，最头疼的往往不是「写得慢」，而是 一本正经胡说：编造不存在的论文、假链接、不存在的 API 名、没发生过的公司政策。行业里通常把这种 自信满满的错误 叫 Hallucination（幻觉）。
做产品的同学都懂：错得明显 用户会骂；错得隐蔽 更危险——财务数字、合规条款、医疗建议，一旦信了假的，后果很大。所以搞清幻觉从哪来、怎么 测、防、缓，和搞清模型能力边界一样重要。RAG、引用溯源、拒答策略，很大一部分都是在 对付幻觉。
二、核心概念和核心原理（详细解答+通俗解释）
（一）核心概念（先通俗，再详细）
1. 幻觉——输出「像真的」但事实或上下文不支持通俗解释：模型本质是 概率续写，训练目标不是「句句属实」，而是 像人类语料那样流畅；流畅和真实 不对等，就会「编」。详细解答：分类上常见：事实幻觉（与真实世界不符）、忠实度幻觉（与用户给定材料不符）。评测时可对照 外部知识库 或 标注上下文。
**2. 为什么一定会「有点像在编」**通俗解释：语料里就有错误、谣言、小说；模型学到的是 统计模式，不是「真理数据库」。详细解答：参数记忆 有误差；长上下文 会丢细节；提示 诱导性强时模型会 迎合 用户错误前提。
（二）核心原理（通俗拆解，一步一步讲清楚）
**第一步：训练目标不惩罚「流畅的假话」**通俗解释：只要像人话，loss 就可能低；除非 RLHF/安全数据 专门惩罚 某类假。详细解答：对齐阶段会教 拒答、承认不知道，降低部分幻觉，但不能根除。
第二步：上下文缺失时，模型用「先验」补洞通俗解释：你没给资料，它就用 训练记忆 填；记忆错了就假。详细解答：RAG 把「先验」换成「检索片段」，能显著改善 可查证领域 的问答。
第三步：解码随机性通俗解释：温度高 更爱探索，胡编空间更大；温度低 更保守，但仍可能卡在有偏的模式上。详细解答：工程上 结构化输出 + 低温度 + 强制引用段落 ID 可缓解。
三、补充进阶知识点（易懂不晦涩，适配新手进阶）
1. 产品层防护清单通俗解释：必须可验证 的场景强制走工具/数据库；输出要求 附引用；高风险域 人工审核。简单补充：和 Function Calling / MCP 联动，让「事实」来自系统，而不是模型嘴。
2. 评测思路通俗解释：构造 容易查证 的题集（带标准答案）；看 引用是否与原文一致（faithfulness）。简单补充：自动化 + 抽样人工，别只看「读起来顺不顺」。
3. 和 RAG 的边界通俗解释：RAG 减少 知识型 幻觉，但可能 曲解检索片段（attribution 错）或 拼接错误——这叫 忠实度 问题，仍要提示与重排优化。简单补充：重排、多跳检索、GraphRAG 是进阶手段。
4. 和之前知识点的关联（重点） 上下文窗口 决定能塞多少检索材料；Embedding 决定检索是否贴题；提示工程 里「不知勿编」降低胡扯动机；量化 可能轻微影响事实召回，但幻觉主因仍是 目标与数据。
四、文章知识总结
- 背景：流畅≠正确；幻觉是 LLM 应用的 系统性风险。
- 核心概念：事实幻觉与忠实度幻觉；根因在 目标函数与补全机制。
- 核心原理：先验补洞 + 解码随机；RAG/工具把事实外置。
- 进阶：产品多层防护 + 可查证评测；RAG 不是万能药。
- 核心逻辑：能查库的别让它瞎背；能引用的别让它空口。
总结：对待幻觉，工程思维 是「默认会编，用流程约束输出」；读完本文再回头看 RAG、MCP，你会更清楚它们在系统里 到底挡的是哪一类错。