Theoretical Foundations and Mitigation of Hallucination in Large Language Models

Paper: arXiv:2507.22915 Code: 代码搜索未找到开源实现（已检查 arXiv 页面/源码、WebSearch、GitHub exact-title/arXiv-id/作者检索；本文主要是理论与综述式框架，没有发布实现仓库）

1. Motivation (研究动机)

这篇论文想解决的不是“再提出一个新的 hallucination detector”，而是把 LLM 幻觉问题放到一个更统一的理论与系统工程框架里：先形式化什么叫 hallucination，再用学习理论解释为什么经验上低幻觉率并不自动推出真实部署中的低风险，最后把检测、缓解与评估协议组织成一个可落地的闭环。论文的主贡献适合归入 LLM & VLM / Theory，因为它的核心不是训练新模型或给出新的 benchmark 分数，而是给出概念定义、风险函数、泛化界、PAC-Bayes 解释、不可完全消除的理论直觉，以及将 RAG、校准、verification、fine-tuning 等方法合并成一套部署流程。

作者从一个常见但容易混淆的事实出发：LLM 输出可以非常流畅、上下文相关，却仍然在事实层面错误或不受输入支持。传统 NLP 任务里的错误通常可以被看成 “model output 不匹配 reference”，但 hallucination 更细：在 summarization 中，它可能是与源文档矛盾；在 open-domain QA 中，它可能是模型凭记忆编造一个貌似合理但无法验证的实体、日期、引用或解释；在对话系统中，它可能是把上下文里没有给出的事实当成既定信息。这种错误在医疗、法律、教育等高风险场景里不是普通质量问题，而是可靠性与责任边界问题。

论文选择先区分 intrinsic hallucination 与 extrinsic hallucination，是因为两者的检测难度和治理策略不同。Intrinsic hallucination 指输出直接违背输入事实，例如源文档说“药物 A 不适用于疾病 B”，摘要却写成“药物 A 可治疗疾病 B”。这种错误通常可以通过源文档 entailment、事实覆盖或 contradiction 检测来发现。Extrinsic hallucination 指输出引入了输入没有提供、也无法从输入推出的信息，例如摘要额外给出一个未出现的获奖经历、URL、论文引用或时间点；它未必与输入矛盾，但缺乏可验证支撑，因此尤其容易被 fluent generation 掩盖。

更重要的是，论文把 hallucination 从“主观现象描述”转成风险量。作者假设存在一个输入分布 $\mathcal{X}$，以及一个可能未知的真值 oracle 或函数 $f^{\ast }(x)$。模型 $M$ 对输入 $x$ 生成输出 $y=M(x)$，如果输出相对 $f^{\ast }(x)$ 不忠实，就记为一次幻觉。这样 hallucination 就可以被看作二分类事件，hallucination risk 就是这个事件在输入分布上的期望。这个视角的好处是，它把多个看似分散的问题合并起来：数据分布是否代表真实部署、检测器标签是否可信、模型容量是否过大、RAG 是否改变输入分布、校准是否反映真实错误概率，都可以被讨论为风险估计与风险控制的问题。

这篇论文的动机还包含一个重要的现实判断：完全消灭 hallucination 可能不是可行目标。对于开放域问题，模型不可能穷尽所有事实，也不可能在所有分布外输入上模拟一个任意复杂的真值 oracle。更合理的目标是把 hallucination rate 降到足够低，并在高不确定性时触发检索、验证、拒答或人工复核。也就是说，论文实际倡导的是“风险管理”而不是“错误清零”：一方面用理论界说明为什么训练集上看起来可靠并不等于部署时可靠，另一方面用工程闭环说明如何在模型生成后继续检测、缓解和记录。

从读者角度看，这篇文章最有价值的地方不在单个公式，而在把四层问题串起来：第一层是定义层，明确输出事实集合与输入事实集合之间的关系；第二层是学习理论层，把 hallucination risk 与 empirical risk、复杂度、posterior-prior 偏离联系起来；第三层是系统层，把 uncertainty、calibration、attention/source attribution、retrieval verification 等信号放在同一个 detection module 里；第四层是评估层，要求报告 hallucination rate、intrinsic/extrinsic breakdown、知识 F1、NLI/FactCC 类指标、人类评估和校准指标。这个组织方式适合给后续实现者当作设计 checklist。

2. Idea (核心思想)

论文的核心思想可以概括为一句话：把 hallucination 看成输入分布上的可度量风险，并用“检测信号 + 缓解模块 + 评估协议”的闭环去管理这个风险。它不是把 RAG、RLHF、SelfCheck、FactCC、temperature tuning 等方法孤立列举，而是把它们分别放在风险估计、风险降低和部署后验证的位置上。

形式化部分从断言集合开始。给定输入 $x$ 与模型输出 $y$，论文用 $I(x)$ 表示输入中包含的事实断言集合，用 $O(y)$ 表示输出中做出的事实断言集合。Intrinsic hallucination 的判定条件是存在某个 $p\in O(y)$ 与 $I(x)$ 在逻辑上不相容： $\exists p\in O(y)\text{ such that }p\text{ is logically incompatible with }I(x).$ Extrinsic hallucination 的判定条件是存在某个 $q\in O(y)$ 不能由 $I(x)$ 推出： $\exists q\in O(y)\text{ such that }q/⊢I(x)\text{ (not entailed by }I(x)\text{)}.$ 这两个定义背后的思想是：输出的事实性不是只看语言流畅度，而要看输出断言和输入/外部知识之间的逻辑关系。Intrinsic 更像 contradiction，extrinsic 更像 unsupported addition。对于 summarization、translation、document-grounded dialogue，$I(x)$ 通常来自源文档；对于 open-domain QA，$I(x)$ 可能需要扩展成外部知识库、检索证据或事实 oracle。

论文接着定义 hallucination indicator： $H(M,x)=\{\begin{array}{ll}1,& \text{if the output }y=M(x)\text{ hallucination},\\ 0,& \text{if }M(x)\text{ is completely faithful to }{f}^{\ast }(x)\text{ (no hallucination).}\end{array}$ 相应风险是： $R_{\mathrm{hall}}(M)={\mathbb{E}}_{x\sim \mathcal{X}}\left[H(M,x)\right].$ 如果需要分类型治理，还可以写成： $R_{\mathrm{int}}(M)={\mathrm{Pr}}_x[M(x)\text{ has an intrinsic hallucination}],$ $R_{\mathrm{ext}}(M)={\mathrm{Pr}}_x[M(x)\text{ has an extrinsic hallucination}].$ 这一步把 hallucination 从 qualitative taxonomy 变成了概率风险。它也提示一个关键点：同一个模型在 in-domain、well-grounded 输入上可能很少幻觉，在 out-of-distribution、罕见事实或模糊问题上却幻觉很多。因此“模型是否会幻觉”不是模型的单一常数属性，而是模型、输入分布、证据可得性、解码策略和检测/缓解系统共同决定的量。

学习理论部分的直觉是：如果能在人类标注或 fact-check oracle 给出的样本上测量经验幻觉率，那么可以写出 empirical hallucination risk： ${\hat{R}}_{\mathrm{hall}}(M)=\frac{1}{n}{\sum }_{i=1}^{n}H(M,x_i).$ 对于复杂度受控的 hypothesis class，可以用 VC/Rademacher 类似的 uniform convergence 形式给出： $R_{\mathrm{hall}}(M)\le {\hat{R}}_{\mathrm{hall}}(M)+\mathcal{O}\left(\sqrt{\frac{\mathcal{C}}{n}}\right).$ 这里 $\mathcal{C}$ 是模型类复杂度，$n$ 是评估样本数，常数项与置信度 $\delta$ 有关。直觉上，如果样本有代表性、模型类不太复杂、经验幻觉率低，那么真实幻觉风险也应较低。但论文立刻指出，现代 LLM 高容量、过参数化、训练误差极低且经常遇到分布漂移，经典复杂度项会变得很松；因此这个界更像概念解释，不是可直接给 GPT 类模型提供紧致数值保证。

PAC-Bayes 部分给出另一个视角：把训练前的模型分布看作 prior $P$，训练后的模型分布看作 posterior $Q$。对于任意 $\delta >0$，以至少 $1-\delta$ 的概率，有： ${\mathbb{E}}_{M\sim Q}[R_{\mathrm{hall}}(M)]\le {\mathbb{E}}_{M\sim Q}[{\hat{R}}_{\mathrm{hall}}(M)]+\sqrt{\frac{\mathrm{KL}(Q||P)+\ln \frac{1}{\delta }}{2n}}.$ 这个界的解释是：如果 posterior 与 prior 偏离过大（$\mathrm{KL}(Q||P)$ 大），或者样本量小，或者置信要求很强，那么真实 hallucination risk 的上界会变宽。对 LLM 来说，这对应了一个常见现象：训练过程和 post-training 可能让模型对某些任务表现很好，但如果缺少代表性 hallucination labels 或部署分布改变，就不能仅凭训练表现认为风险已经被控制。

核心思想的第三部分是“不可完全消除”。论文引用相关理论结果说明，对足够开放的任务空间，任何可计算模型都无法在所有情况下完美复现任意 ground-truth function $f^{\ast }$。因此，只要模型被要求回答开放域、长尾、罕见或分布外查询，就可能存在模型不知道却仍然生成答案的输入。这里的结论不是悲观地放弃缓解，而是把目标改为：降低概率、检测不确定性、在高风险处调用外部证据、校准 confidence、允许拒答，并通过评估协议持续测量剩余风险。

Figure 1 解读：arXiv 源码没有外部 \includegraphics 图片文件，原图由 LaTeX/TikZ 直接绘制；上图是依据源码中 Figure 1 的节点与边渲染出的 source-derived SVG。流程从用户输入进入 LLM draft generation，然后由 detection module 判断是否存在 hallucination。如果没有问题，输出 final answer；如果检测到问题，则进入 mitigation module，执行 retrieve / verify / revise，并在必要时回到 LLM 重新生成。图上方强调 token probabilities、entropy、self-consistency 等生成时信号可被记录；检测模块包括 uncertainty、factuality classifier、source alignment；缓解模块包括 retrieval、edit、calibration、refusal。这个图体现了论文主张的部署观：不要把“生成”当成终点，而要把生成放进事实性检测与缓解闭环。

3. Method (方法)

这篇论文的方法不是一个可训练模型，而是一套由定义、理论界、检测策略、缓解策略和流程伪代码组成的框架。为了避免把它误读成实验论文，应该按“理论工具箱 + 系统蓝图”来理解。

3.1 Formalization：从断言集合到风险函数

第一步是把模型输出拆成事实断言集合。对于输入 $x$，$I(x)$ 表示输入可支持的事实；对于输出 $y$，$O(y)$ 表示模型声称的事实。Intrinsic hallucination 关注 $O(y)$ 中是否存在与 $I(x)$ 冲突的断言；extrinsic hallucination 关注 $O(y)$ 中是否存在不能被 $I(x)$ 推出的断言。这种定义直接服务于后面的检测设计：contradiction 可以用 NLI/entailment，unsupported addition 可以用 retrieval、entity overlap、claim verification 或人工标注。

第二步是引入 $f^{\ast }(x)$。这个 oracle 不一定现实可得，但它让理论表达变清楚：如果 $M(x)$ 偏离完全 truthful/contextually appropriate 的输出，就出现 hallucination。$H(M,x)$ 是二值指标，$R_{\mathrm{hall}}(M)$ 是期望风险。注意这里隐含的难点是 oracle 的可得性：实际系统往往没有 $f^{\ast }(x)$，只能用人类标注、自动 verifier、检索证据或 task-specific reference 近似。因此评估结果必须说明标注来源和 verifier 可信度。

第三步是将风险拆分。$R_{\mathrm{int}}$ 与 $R_{\mathrm{ext}}$ 的拆分很有实用意义：对于摘要任务，intrinsic 错误通常说明模型扭曲了源文档，严重影响 faithfulness；extrinsic 错误可能是加入源文档没有的信息，即使在现实世界为真，也不应出现在严格摘要里。对于 open-domain QA，extrinsic/unsupported 的判定则更依赖外部证据。因此同一个错误类型在不同任务中的容忍度不同，评价协议要分开报告。

3.2 Theoretical analysis：泛化界与 PAC-Bayes

论文把 hallucination detection 看作“输出是否幻觉”的二分类问题。若存在 $n$ 个输入样本，并且每个模型输出都能由人工或 oracle 标注为 hallucinated/faithful，则经验风险 ${\hat{R}}_{\mathrm{hall}}$ 可以测量为平均错误率。标准学习理论告诉我们，真实风险与经验风险之间的差距依赖样本量和模型类复杂度。论文给出的 Rademacher/VC 风格界不是为了精确计算 LLM 的 $\mathcal{C}$，而是为了强调两个必要条件：评估集必须代表部署分布，模型复杂度或有效容量必须受控。

这个观点解释了为什么“benchmark 上幻觉率低”不等于“真实应用不幻觉”。如果 benchmark 只覆盖常见事实，部署却包含长尾事实、动态知识、专业领域术语或 adversarial prompt，那么 $x\sim \mathcal{X}$ 的真实分布已经改变。即使 ${\hat{R}}_{\mathrm{hall}}$ 小，界中的代表性假设也被破坏。高容量 LLM 还会在训练集/评估集上表现非常好，但在未知查询上通过语言先验生成 plausible answer，因此 hallucination 常常更像 distribution shift 与 incomplete knowledge 的组合，而不是单纯过拟合。

PAC-Bayes 视角补充了一个 posterior-prior 偏移项。若 post-training 之后模型分布 $Q$ 距离 prior $P$ 很远，或者样本数量 $n$ 不足，界会变松。对于 instruction tuning、RLHF 或 domain adaptation，这意味着训练后的模型虽然更会遵循指令，但如果没有专门的 hallucination labels、truthfulness reward 或 domain evidence，模型可能只是更自信地表达错误。实践上，这支持论文后面提出的组合策略：fine-tuning 需要和 calibration、retrieval、verification 一起使用，而不是孤立依赖。

3.3 Detection：三类信号

论文把 detection 方法分成 token-level uncertainty、confidence calibration/self-evaluation、attention/source attribution 三类。

Token-level uncertainty 关注模型生成时的概率分布。若 next-token entropy 高，或多次采样/扰动下答案方差大，则说明模型可能在猜测。论文提到 entropy、prediction variance、Monte Carlo dropout/ensemble，以及 self-consistency：对同一问题多次生成或轻微改写提示，如果答案在关键事实上剧烈变化，就提示模型没有稳定知识。这个信号适合在生成阶段记录，不需要外部知识，但它只能说明“不确定”，不能直接证明输出事实错误。

Confidence calibration 关注模型报告的 confidence 是否对应真实正确率。未校准模型可能对错误答案非常自信。可用方法包括 temperature scaling、isotonic regression、让模型输出自评置信度、少样本示例引导 confidence reporting。校准的价值是把“语言上坚定”与“事实正确概率”拆开：系统可以把低校准置信度答案送入 retrieval 或 human review，而不是直接返回。

Attention alignment/source attribution 关注输出是否可追溯到输入证据。对于 encoder-decoder summarization 或 translation，可以检查输出关键实体/短语是否对源输入有高 attention 或 attribution；也可以用 integrated gradients、attention flow 或 retrieval verification 查询每个 claim 是否有支持文档。论文也提醒，attention 不是因果证明，高 attention 不保证事实正确，低 attention 也不必然是 hallucination；因此它更适合作为检测信号之一，而不是唯一判定器。

3.4 Mitigation：四类缓解策略

第一类是 Retrieval-Augmented Generation。RAG 通过外部知识源降低模型纯凭参数记忆回答的风险。论文提到训练中集成 retrieval 的模型，也提到 plug-and-play 管线：先检索 top-$k$ 相关文档，再把证据拼接进 prompt/context，最后生成答案。RAG 的核心不是“给模型更多文本”本身，而是让输出断言有可追溯证据。对于 open-domain QA、知识型对话、动态事实，RAG 尤其重要。

第二类是 hallucination-aware fine-tuning / instruction tuning。可用 truthful QA pairs、faithful summaries、负例 hallucinated outputs、unsupported-content penalty、RLHF reward model 等信号训练模型避免无证据内容。论文特别提到 RLHF 可通过 reward model 给 factual/correct output 更高分，给 hallucinated/incorrect output 更低分，再用 policy optimization 调整模型。它还强调拒答学习：当模型缺乏证据时，“不知道/需要更多信息”应被训练成可接受答案，而不是被惩罚为不合作。

第三类是 logit calibration 与 decoding strategies。降低 temperature、使用 nucleus/top-$p$ sampling、屏蔽或惩罚容易编造的 token pattern、受约束解码、生成后 sentence-level verification，都是减少低概率歧路或过度自信输出的方式。论文指出常见 top-$p$ 取值例如 $p=0.9$，但也提醒过低 temperature 可能造成重复或过度保守。也就是说，decoding control 可以减少一类随机幻觉，但不能替代事实验证。

第四类是 fact-verification modules / auxiliary heads。可以在 decoder hidden state 上加 classifier head，预测当前序列是否 factual/consistent；也可以用 two-pass draft-and-verify，让模型先生成草稿，再由同一模型或专门 verifier 检查每个 statement，最后修正。也可以把 search engine、calculator、knowledge base 等工具接入生成中。这个方向的代价是复杂度、延迟和 verifier 错误传播，但它最符合论文提出的闭环治理。

3.5 Proposed workflow：可实现的流程伪代码

论文没有公开代码实现，因此下面是依据论文 Figure 1 和 §V 写出的概念伪代码，不是某个 GitHub 仓库中的函数。代码搜索未找到开源实现。

def answer_with_hallucination_control(query, llm, detector, mitigator, max_loops=1):
    evidence_context = None
    draft = llm.generate(query, context=evidence_context, log_probs=True)
    signals = {
        "token_entropy": entropy(draft.token_distributions),
        "self_consistency": sample_consistency(llm, query),
        "source_alignment": detector.source_alignment(query, draft.text),
        "claim_support": detector.retrieve_and_check_claims(draft.text),
    }
    risk = detector.estimate_hallucination_risk(draft.text, signals)
    if risk.acceptable:
        return draft.text
 
    revised = mitigator.retrieve_verify_revise(
        query=query,
        draft=draft.text,
        signals=signals,
        actions=["retrieve", "verify", "edit", "calibrate", "refuse_if_unsupported"],
    )
    if max_loops > 1 and not detector.estimate_hallucination_risk(revised, signals).acceptable:
        return llm.generate(query, context=revised.evidence, constraints=revised.constraints)
    return revised.answer

这段伪代码反映了论文的设计意图：LLM draft generation 只是第一步；系统应记录 uncertainty/self-consistency 等内部信号，再用 source alignment 和 claim support 进行外部或半外部检测；如果风险可接受，则返回；否则调用 mitigation module 检索证据、验证 claim、修改答案、校准置信度或拒答。实际实现时，detector 和 mitigator 可以是多个模型、检索器、NLI classifier、人类审核器或规则系统的组合。

3.6 Code mapping / implementation status

代码搜索未找到开源实现。检索范围包括 arXiv 页面和 TeX source、WebSearch exact title / arXiv id / 作者名、GitHub gh search repos exact title 和 2507.22915。作者在 arXiv 页面没有列出 Code/Data/Media 链接；源码 tarball 仅包含 hallucination.tex 与 00README.json，没有 Python/Notebook/配置文件。

Paper Concept	Source File	Key Class/Function
Formal hallucination risk	N/A（无公开实现）	N/A
PAC-Bayes / Rademacher bound	N/A（论文公式）	N/A
Detection module	N/A（概念流程）	N/A
Mitigation module	N/A（概念流程）	N/A
Evaluation protocol	N/A（评估建议）	N/A

4. Experimental Setup (实验设置)

这篇论文没有报告新的训练实验、模型 benchmark 表格或 ablation 数字；它的 “Experimental Setup” 更准确地说是 evaluation protocol recommendation。论文建议如果要评估 hallucination mitigation，应当明确 base model、mitigated model、测试数据、标注方式、检测器、指标、置信度校准以及速度/质量 trade-off。由于没有开源实现，也没有给出可复现实验脚本，本节应理解为“作者建议如何做实验”，不是“作者已经完成了哪些实验”。

4.1 Datasets and benchmarks

论文建议的评估数据覆盖多个任务族。第一类是 factual QA benchmark，例如 TruthfulQA，以及可以对照 Wikipedia 等来源核验的 factoid QA 数据。TruthfulQA 的作用是测试模型是否会复述常见误解或错误事实；factoid QA 的作用是让每个问题有明确可查答案，从而计算 hallucination/falsehood rate。

第二类是 summarization benchmarks with faithfulness annotations，例如 XSum、CNN/DailyMail 及带有人类 factual consistency 标注的摘要输出集合。摘要任务特别适合 intrinsic/extrinsic breakdown：如果摘要违背源文档，是 intrinsic；如果摘要添加源文档没有的信息，则是 extrinsic。论文引用 Maynez 等关于 XSum hallucination 的标注工作，以及后续 factual consistency benchmark。

第三类是 dialogue / knowledge-grounded benchmarks。这里关注对话回复是否保持在给定 knowledge snippet 或检索证据范围内。Knowledge F1、entity overlap、content precision/recall 等指标可衡量回复中事实是否来自知识源。若模型引入 knowledge snippet 不支持的实体或事件，就可被标为潜在 extrinsic hallucination。

第四类是 fact verification datasets，例如 FEVER 类 claim verification 数据。对于这类数据，系统需要判断 claim 是否 supported/refuted/not enough information。它适合评估 verifier 或 claim-level detection，而不只是最终文本质量。

4.2 Metrics

论文列出的核心指标包括 hallucination rate / factuality score，即输出中包含 hallucination 的比例；intrinsic/extrinsic breakdown，例如报告“总 hallucination 中多少是输入矛盾，多少是 unsupported addition”；knowledge F1 / content precision and recall，用输出事实集合和源/知识事实集合比较；entailment-based metrics，用 NLI 或 FactCC 类模型判断输出是否由源输入蕴含；human evaluation，在自动指标不足时由人工标注事实性；calibration metrics，用置信度与真实正确率之间的关系衡量模型是否知道自己何时可能错。

这些指标背后的实验设置应该区分 detector evaluation 与 mitigation evaluation。Detector evaluation 需要 precision、recall、F1、false positive/false negative，并说明 gold labels 如何获得。Mitigation evaluation 则需要比较 mitigation 前后的 hallucination rate、answer usefulness、fluency、latency 和 refusal rate。一个系统若降低 hallucination rate 但大幅提高错误拒答率或降低信息量，也不一定更好。

4.3 Reporting protocol

论文建议实验中始终比较 base vs mitigated model。例如同一批问题上比较 GPT-3 与 GPT-3 + retrieval，或比较 naive decoding 与 calibrated decoding。这样才能量化缓解策略的边际贡献。

实验集应包含 easy/hard、in-domain/out-of-domain、普通事实/罕见事实、源文档支持/不支持等不同类型。若管线包含 retrieval、verification、fine-tuning、decoding control，应做 ablation：retrieval only、verification only、fine-tuning only、组合策略。还应报告对 fluency/quality 的影响，例如摘要任务中的 ROUGE/BLEU，或用户满意度。论文特别强调，减少幻觉不能只看事实性提升，也要看是否牺牲了有用性、表达质量和系统延迟。

4.4 Source/figure setup

arXiv source-first figure extraction结果显示源码包没有外部图片文件：extract_figures.py --arxiv 2507.22915 得到 0 个 includegraphics 资产；进一步检查 hallucination.tex 后发现论文唯一图是 figure* 环境里的 TikZ 图。由于本地环境没有 TeX 编译链，笔记中嵌入的 fig_workflow_source_tikz.svg 是根据论文 TeX/TikZ 源节点、连线、标签手工等价渲染的 SVG，不是从 PDF 页面裁剪的截图。这样避免了 full-page crop，也保留了源图的流程结构。

5. Experimental Results (实验结果)

论文没有给出新的实验数值表，因此本节的“结果”应理解为理论结论、系统设计结论与评估建议，而不是 benchmark performance。这里最重要的 exact results 是公式形式的风险界和作者的定性结论。

5.1 理论结果与含义

第一，hallucination risk 可以被写成输入分布上的期望事件概率： $R_{\mathrm{hall}}(M)={\mathbb{E}}_{x\sim \mathcal{X}}\left[H(M,x)\right].$ 这说明测量幻觉不是只看几个 cherry-picked examples，而要考虑真实输入分布。若部署分布包含长尾、动态或专业事实，那么评估集必须覆盖这些区域，否则经验风险低没有太大意义。

第二，论文给出一般化界： $R_{\mathrm{hall}}(M)\le {\hat{R}}_{\mathrm{hall}}(M)+\mathcal{O}\left(\sqrt{\frac{\mathcal{C}}{n}}\right).$ 这个结果的实用解释是：增加代表性样本数 $n$、降低有效复杂度 $\mathcal{C}$、使用更可靠标注，都有助于更可信地估计真实风险。但对现代 LLM，$\mathcal{C}$ 很难紧致估计，模型容量巨大，所以该界更像理论提示：不要把有限 benchmark 上的低幻觉率过度外推。

第三，PAC-Bayes 结果说明 posterior 与 prior 的 KL 偏移会影响真实风险界： ${\mathbb{E}}_{M\sim Q}[R_{\mathrm{hall}}(M)]\le {\mathbb{E}}_{M\sim Q}[{\hat{R}}_{\mathrm{hall}}(M)]+\sqrt{\frac{\mathrm{KL}(Q||P)+\ln \frac{1}{\delta }}{2n}}.$ 对 post-training 的理解是：如果 alignment 或 fine-tuning 让模型行为大幅改变，却没有足够 hallucination-aware 数据验证这种改变，那么真实风险仍然可能很高。这个结果支持使用 held-out factuality tests、domain-specific hallucination labels 和 deployment monitoring。

第四，不可完全消除的论点给出边界意识。对于开放域、任意 computable ground-truth function、长尾事实与未知查询，模型不可能在所有输入上都等价于 oracle。系统设计上应允许“不知道”“需要检索”“需要人工复核”，而不是强迫模型总是给出完整答案。

5.2 检测策略的结论

Uncertainty signals 能在模型内部给出早期风险提示。高 token entropy、答案多次采样不一致、对提示扰动敏感，都可能提示模型缺乏稳固知识。但它们不是 truth oracle，只能作为 flag。

Calibration 的结论是：模型必须学会把 confidence 与真实正确率对齐。自评置信度、temperature scaling、few-shot confidence examples 都可用于把高风险输出送去二次验证。对于实际产品，这比单纯降低 temperature 更关键，因为很多幻觉不是低概率胡言乱语，而是高流畅度、高自信错误。

Source attribution 的结论是：对于有源输入任务，输出事实应该能回溯到输入证据。Attention/gradient/attribution 与 retrieval verification 可以发现 unsupported claims。但 attention 本身有局限，不能被当作严格因果解释；因此需要与 NLI、retrieval、human labels 结合。

5.3 缓解策略的结论

RAG 的主要价值是把模型从“仅凭参数记忆回答”转成“基于检索证据生成”。它尤其适合动态知识、专业领域和长尾事实。不过 RAG 也依赖检索质量、证据排序、context window 和答案是否真的引用证据。检索失败或检索到冲突资料时，RAG 可能把错误证据引入答案，所以仍需要 verification。

Hallucination-aware fine-tuning / RLHF 能让模型学习避免 unsupported content，并在未知时拒答。它的限制是需要高质量数据或反馈，人工标注昂贵，过度追求事实保守可能降低创造性或任务有用性。最佳实践通常是把 fine-tuning 与 retrieval、calibration、verification 组合。

Logit calibration / decoding control 可以减少采样尾部错误、过度发散或某些已知 hallucination pattern。论文提到 top-$p$ 常见阈值 $p=0.9$。但 decoding 只是控制生成路径，不能补充缺失知识，也无法验证事实真伪。

Fact-verification modules 提供最后一道安全网。Auxiliary classifier、draft-and-verify、tool use、knowledge base checking 都能把生成后的 claim 拆开验证。它们的成本是系统复杂度、延迟和 verifier 自身错误，因此适合高风险任务或按风险触发，而不一定所有查询都全量运行。

5.4 评估与部署结论

论文的部署结论是：可靠 LLM 应当被包装成闭环系统，而不是裸模型。最小闭环包含 draft generation、uncertainty/factuality/source-alignment detection、retrieval/verification/revision/refusal mitigation、final answer、logging/evaluation。对于高风险应用，系统应该记录哪些 claim 被验证、使用了哪些证据、哪些输出被拒答或重写，以及剩余不确定性。

论文的评估结论是：必须报告 hallucination rate 及其 breakdown，而不仅是总体准确率或 ROUGE/BLEU。对于摘要和对话任务，应分别看事实覆盖、unsupported additions、source contradiction；对于 QA，应看 answer exactness、evidence support、refusal correctness；对于 detector，应看 precision/recall/F1；对于 calibrated system，应看 confidence vs correctness 的对齐。

5.5 局限性

第一，论文是理论与综述式框架，没有新的 empirical benchmark、没有运行表格、没有开源代码。其公式界对现代 LLM 是解释性强于可计算性，不能直接拿来给某个具体模型证明低幻觉风险。

第二，formalization 依赖 $f^{\ast }(x)$ 或事实 oracle，但真实任务往往没有唯一真值，特别是开放式问答、创意写作、主观建议、多跳推理和实时知识。如何构造可靠 oracle 或 verifier，是框架落地的关键难点。

第三，intrinsic/extrinsic 的边界在 open-domain 场景可能模糊。某个输出不由 prompt 推出，但可以由外部知识支持；它在严格摘要里是 extrinsic hallucination，在开放问答里可能是正确补充。因此任务定义必须先规定允许使用哪些知识源。

第四，闭环系统可能带来 latency、cost、privacy 和 evidence quality 问题。RAG 需要维护知识库，verification 可能调用外部服务，人工审核不可扩展，过度拒答会降低用户体验。论文的贡献在于给出组件和评估维度，但具体系统仍需按风险等级做工程权衡。

总体来说，这篇论文最适合作为 hallucination mitigation 的理论 checklist：不要只调 prompt；先定义风险与任务边界，再测量经验风险和 intrinsic/extrinsic breakdown，随后用 uncertainty、calibration、source attribution 触发 RAG、fine-tuning、decoding control 或 verification，并持续报告事实性、可用性、延迟和拒答率。