获课：shanxueit.com/13412/

Agent幻觉这件事，其实是你没给它立好规矩

干过AI Agent开发的人，大概都遇到过这种场景：你问它“帮我查一下上个月订单总量”，它先调了订单查询工具，然后自作主张加了“环比增长12.3%”——而这个数字是它编的。你没让它算增长率，它偏要“发挥”一下。

这就是Agent幻觉最让人头疼的地方：它不觉得自己在胡说，它只是太想“表现得好”了。

幻觉的根源，是“自由过了火”

大语言模型本质上是一个“概率预测器”，它不知道什么是“事实”，它只知道“这个词后面大概率接什么词”。这种设计在普通对话里没问题，但一旦让Agent去调用工具、操作数据库、执行关键业务逻辑，“自由发挥”就成了灾难。

问题出在哪？两个层面。第一，提示词给得太“松”了。很多人写提示词，把Agent当成一个聪明的小助手，只说“你要做什么”，但没说“你不能做什么”。Agent在缺乏约束的情况下，为了完成任务会自己补全信息——而补全的东西，往往是错的。第二，架构太“薄”了。Agent的每次决策都在一个“黑盒”里完成，它调了什么工具、基于什么信息做的判断、中间推演过程是什么——外面的人完全看不见。

提示词层面：把“不做什么”写得比“做什么”更重要

一个有效的做法，是在系统提示词里明确列出行为边界。拿订单查询来说，如果你只说“你是订单助手，帮用户查订单”，Agent就有足够的“创作空间”去发挥。但如果你加上“你的回答必须严格基于工具返回的数据，不得添加任何未经验证的推理或预测”——行为边界就清晰了。

更细的粒度可以做到工具级别的约束。大模型部署平台里常有的“强化版提示词”和“JSON格式化输出”功能，本质就是在提示词层面对模型的输出格式和逻辑边界做硬性约束。你要求它必须用工具返回的原始数据拼装答案，它就无法自己编一个增长率出来。

架构层面：让推理过程“透明化”

提示词约束解决了“不该说什么”，但还没解决“它为什么会这样说”。这就是架构层面的“可观测性”要解决的问题。

一个简单但有效的架构设计，是引入“ReAct”（推理+行动）模式。Agent的每一次决策都遵循“思考→行动→观察”的循环：它先输出自己的推理过程（“我需要查询上个月订单数据，所以调用get_orders工具”），然后执行工具调用，最后基于工具返回的数据（观察结果）做出回答。这个推理链条全程可见，你在日志里就能追踪到它是基于什么数据做出的回答。

更进一步的做法，是给Agent设定“部分输出顺序”。比如强制它执行操作后再执行流式输出，而不是一边想一边说。这能避免Agent在信息还不完整的情况下就“开腔”，降低了中途胡说的概率。

人机协作：用流程兜底Agent的不确定性

还有一个维度值得聊——人机协作。Agent幻觉没法被“彻底消灭”，但可以被“流程消化”。对有业务风险的Agent操作，可以在流程中设置人工确认节点：Agent生成操作计划后不直接执行，而是推送给负责人审核，确认无误后再执行。这不是让AI变慢，而是让它在关键决策上有“兜底”。

把Agent的权限和工作流绑定，让它只在自己的职责范围内做事，并保留完整的行为审计日志。当幻觉发生时，你能快速回溯是哪一步出了问题，然后针对性优化提示词或工具调用逻辑。这是一个持续演进的过程，不是一次就能搞定的。

说来说去，减少Agent幻觉这件事，本质上是在给AI的“想象力”划定安全区。提示词画出“不能越界的红线”，架构让它的每一步“可追踪、可审计”，流程为关键决策加上“人工兜底”。三重保障叠在一起，Agent才能从“爱编故事的小聪明”进化成“靠得住的老实人”。