【人工智能】万字综述大语言模型幻觉 | 如何定义幻觉 | 评估基准和方法 | 幻觉的来源

【人工智能】万字综述大语言模型幻觉 | 如何定义幻觉 | 评估基准和方法 | 幻觉的来源 | 如何减少幻觉

Рет қаралды 5,170

Күн бұрын

最近Arxiv上的一篇论文《AI大海中的海妖之歌：大语言模型中的幻觉调查》中，详尽阐述了有关大语言模型幻觉的各个方面，我做了一些简单的整理，这里跟大家分享一下，视频内容较长，希望大家可以耐心观看。全文分成了几个部分，我也会按照这个顺序跟大家一一介绍，分别是对幻觉的定义，如何评估幻觉，大语言模型幻觉的来源，如何在训练和生成推理阶段减少幻觉，以及其他可以减少幻觉的方法。
论文地址：arxiv.org/pdf/...
#人工智能 #hallucination #llm

Пікірлер: 26

@uartim Жыл бұрын

這頻道值得更多訂閱～

@IDhaBD Жыл бұрын

点了赞再看。另外，大飞，可以搞一些Agents、认知心理学、注意力机制等相关的内容嘛

@bestpartners Жыл бұрын

好的👌

@dueuhskejdhdss Жыл бұрын

推一個 agent，想看

@lingsun9124 4 ай бұрын

结尾“幻觉本身就是知识的一部分，是人类认知的一部分，是世界的不确定性的一面” 升华的好啊，或者这个叫”幻知“，甚至叫”想象“都可以，而这个东西似乎是“突破未知地带“的前提，和人一样，先有想象，后有确定

@juna763 Жыл бұрын

谢谢大飞兄弟的分享🎉🎉🎉熬夜看你的视频😂😂😂

@bestpartners Жыл бұрын

哈哈，感谢支持和观看🙏，注意休息保重身体

@zhaixiaoba Жыл бұрын

多谢分享

@SerendipityLuo 6 ай бұрын

Thanks for sharing

@xmlu2175 Жыл бұрын

很棒的内容。请问是否有社区组织，比如微信群、知识星球之类的，想和你们多交流

@qingsongyao4974 Жыл бұрын

Thanks!

@bestpartners Жыл бұрын

感谢支持🙏🙏

@kaichen6030 Жыл бұрын

🎯 快速导航的要点： 00:00 🧠 介绍大模型的幻觉问题 - 大模型在生成文本时可能出现幻觉，即生成与用户输入不符、不完整、偏差或信息不足的内容。 - 幻觉问题可能降低模型在实际应用中的可靠性和实用性。 - 幻觉问题可分为四种类型：含糊不清的回答、不完整的回答、回答偏差、信息不足。 02:36 📝 幻觉的分类和定义 - 幻觉的定义包括与输入冲突的幻觉、语境冲突性的幻觉、与事实相冲突的幻觉。 - 大语言模型幻觉可根据生成的内容与用户意图、上下文和世界知识的关系进行分类。 05:13 📊 评估大模型的幻觉 - 评估大模型幻觉使用不同类型的基准，如TruthfulQA和FActScore。 - 基准可分为生成式基准和判别式基准，涵盖问题解答、指令提示和文本补全任务。 - 评估方法包括人工评估和模型的自动评估，需要质量保证和数据集创建。 07:15 📊 FactScore评估幻觉 - FactScore使用通道检索器和评估模型，如LLaMA-65B，来评估文本的真实性。 - 评估使用微观F1分数和误差率，以确定自动评估的可靠性。 08:18 🧠 幻觉的来源 - 大语言模型的幻觉源自不同阶段的模型训练过程，包括预训练、微调和对齐阶段。 - 幻觉的来源包括训练数据中的错误知识、模型过度自信、错误的对齐过程和生成策略。 10:20 🔍 减少幻觉的方法 - 训练阶段 - 在训练阶段，可通过人工或自动整理预训练语料库来减少幻觉，清除噪声数据。 - 选择可靠数据或过滤噪声数据以提高训练数据的质量。 - 自动整理预训练数据，以减轻幻觉的影响，采用启发式规则等方法。 12:17 🚀 减少幻觉的方法 - SFT阶段 - 在SFT（监督微调）阶段，标注或收集大量任务指令跟踪数据，并使用MLE进行微调。 - 针对SFT数据，可以手动或自动整理，减少行为克隆引起的幻觉。 - 引入诚实样本以改善模型的回答，诚实样本承认模型无法回答的问题。 13:50 🧩 减少幻觉的方法 - SFT数据和诚实样本 - SFT数据包括诚实样本，模型可以学会拒绝回答特定问题，减少幻觉。 - 人工整理SFT数据仍然是首选，但存在知识盲区。 14:21 🏆 RLHF期间的特殊奖励函数 - RLHF阶段使用特殊奖励函数，鼓励模型挑战前提、表达不确定性，减轻幻觉。 - 诚信导向强化学习相对于SFT具有优势，能提高模型概括能力和减少标注成本。 15:53 🧩 解码策略和减少幻觉 - 设计解码策略，如事实核采样，可以减少幻觉，平衡多样性和事实性。 - 推理时干预方法(ITI)和上下文感知解码策略(CAD)也有助于减少事实幻觉。 17:30 📚 利用外部知识减少幻觉 - 利用外部知识，如外部知识库、工具，可以帮助大语言模型提供真实的回复。 - 知识可以通过生成式补充或事后纠正方式加以利用，提高信息的可解释性。 - 知识验证是一个挑战，需要解决知识来源的真实性问题。 20:40 🧩 提高检索器和矫正器性能的挑战 - 检索到的知识可能与模型参数知识冲突，影响性能。 - 长上下文可能导致性能下降。 21:12 🤖 利用不确定性减轻幻觉 - 不确定性是推理过程中的关键指标，帮助用户识别何时信任模型。 - 估算不确定性的方法包括基于logit、口头和一致性的估计。 22:49 🏆 其他减少幻觉的技术 - 多代理互动、优化提示工程、模型内部状态检测、知识对齐和模型架构优化等方法可以减轻幻觉。 - 模型编辑作为一种新兴领域，可以用来修改模型的行为以消除幻觉。