AI幻觉问题根源揭示 科研机构发现错误具有必然性 数据完善难消除模型固有缺陷

问题——“看似靠谱”的回答为何会出错 当前,基于大模型的应用广泛嵌入搜索、办公、学习与生活服务场景,用户从“检索信息”转向“直接提问”,获得的是结构完整、逻辑顺畅的回答。

然而,多地用户反馈,在健康咨询、数据引用、案例核对、流程规划等高敏感场景中,模型可能给出不存在的来源、错误的数字甚至虚构的事件,并常以较高自信呈现。

业内将此类现象称为“幻觉”:输出在语言层面自洽,但与事实不符或无法验证。

原因——并非简单的“数据脏”,而是机制性约束叠加 近期,一项由国外研究团队联合高校开展的研究提出:即使训练集本身完全正确,模型在某些类型问题上仍可能“不可避免地犯错”。

其背后至少存在三方面原因。

其一,预训练阶段的统计学习存在天然边界。

研究者通过简化的分类模型实验指出,部分问题的模式并非易于被模型用单一规则“划分”,例如字母计数、细粒度事实核对、特定日期与数字等任务,容易因模式复杂而出现偏差。

换言之,模型擅长从大量文本中归纳“常见表达”,但对需要精确符号操作或严格匹配的任务,并不总能稳定可靠。

其二,信息出现频率不均会放大错误概率。

对大模型而言,训练中“见得多”的知识更容易被稳固记忆,而低频事实、冷门实体、时间地点等细节信息,可能因样本稀少而形成不稳定表征。

当用户要求给出唯一确定答案时,模型往往会在相近分布中“补齐空白”,从而生成看似合理的错误结论。

其三,后训练与评测导向强化了“会说”的能力,却未充分约束“说对”。

现实应用中,模型常被优化为“更有帮助、更流畅、更像人类表达”,在交互体验上得分更高。

但在一些评测与反馈机制下,系统可能更奖励“快速给出完整回答”,而不是“坦诚不确定并要求核验”。

当“沉默或拒答”被视为负反馈,“编出一个可读答案”就可能成为更易获得高分的策略。

研究认为,这种不合理的“考试制度”在一定程度上“逼出”了幻觉。

影响——从体验瑕疵升级为可信风险 业内人士指出,幻觉在一般闲聊或创意写作中影响有限,但在医疗健康、金融投资、法律合规、公共管理、科研写作等场景可能引发连锁风险:一是误导决策,尤其当错误被包装成“结论+依据+案例”的完整叙事;二是污染内容生态,错误信息被二次传播后更难纠正;三是损害机构与平台信誉,增加合规与责任成本;四是对未成年人、老年群体等信息甄别能力较弱的用户造成更大误导。

对策——技术改进与制度约束要“同向发力” 多位从业者认为,治理幻觉不能仅靠增加算力或扩大数据规模,而应形成从模型到产品的闭环治理。

在技术层面,可通过引入检索增强与可追溯引用机制,让回答尽量“有据可查”;对高风险问题设置事实核验流程或多模型交叉验证;提升不确定性表达能力,使模型在证据不足时明确提示“无法确认”;针对字母计数、日期核对、单位换算等精确任务,采用工具调用与规则校验,减少纯语言生成带来的误差。

在评测层面,应将“真实性、可验证性、拒答质量”纳入关键指标,减少对单纯流畅度的过度依赖;对专业领域建立权威基准与动态测试集,持续暴露薄弱点;对上线产品开展压力测试与红队评估,重点检验“高自信错误”的可触发条件。

在使用层面,建议对公众加强提示:涉及健康、财务、法律与重要数据引用,应以权威来源复核;对机构用户,应建立“人机协同”的审校制度,把模型定位为辅助工具而非最终裁决者,并对引用、存档、对外发布等环节设置责任边界与操作规范。

前景——走向“可信生成”,关键在于可验证与可追责 受访人士认为,生成式模型的价值在于提升信息处理与表达效率,但“可信”将成为下一阶段竞争焦点。

随着多源检索、工具调用、结构化知识库、过程监督等能力不断成熟,模型在可验证输出方面有望持续改进。

同时,行业也需要更透明的评测体系与更清晰的应用边界,让技术进步与治理规则同步演进,避免“能用”先于“可信”扩散。

这项研究揭示了智能技术发展过程中的深层矛盾:在追求高效处理的同时如何确保信息精确性。

正如计算机科学家艾伦·凯所言:"真正的技术革命不在于让机器像人一样思考,而在于帮助人类突破思维局限。

"该成果不仅为技术改进指明方向,更促使我们反思:在智能化浪潮中,保持对技术的理性认知与审慎态度,或许比盲目追求功能突破更为重要。