谷业凯: ai 幻觉带来的虚假信息泛滥风险加大

谷业凯在2025年07月02日的《人民日报》中写道,今年07月02日,尽管有观点认为AI幻觉可以看作是“发散思维”和“想象力”,但大量用户反馈显示,在使用AI大模型时,高达42.2%的人遇到了内容不准确或包含虚假信息的问题。我国生成式人工智能产品的用户规模已达2.49亿人,快速增长的用户量使得AI幻觉带来的虚假信息泛滥风险加大。为了防范这种情况,相关部门加大了对违规AI产品的处置力度。文心大模型通过利用检索信息来指导答案生成,通义大模型也加强了语料管理并使用“红蓝对抗”机制提升识别能力。人们在应对AI幻觉时既要保持开放心态,又要辩证看待利弊。短期内这个问题难以彻底解决,但各方正在努力降低其负面影响。 谷业凯认为,“一本正经地胡说八道”是一种常见现象,比如让AI推荐书时可能给出不存在的书名,或者张冠李戴人物身份并提供错误链接。这种现象被称为AI幻觉,通俗来说就是AI在遇到超出知识储备的问题时编造不存在的细节。大模型的工作原理是基于概率生成内容,它会根据学过的海量知识计算出后续内容。因为它会像人脑一样进行压缩和泛化处理数据,所以当训练数据包含虚假信息时,就会产生错误答案。 如果看似合理却与现实相去甚远的内容被AI反复学习,就会形成恶性循环。这个问题带来的危害是巨大的,因此有效防范虚假信息泛滥已成为不容回避的课题。不过也有人认为这是一种发散思维和想象力的表现。把训练大模型看作信息压缩过程,输出答案就是解压过程。这种处理方式可能出现谬误也可能触发新创造。对发展尚未定型的新事物要给予足够空间让它朝好的方向成长。 短时间内难以彻底解决这个问题,所以相关部门推动生成合成内容标识加速落地。对广大用户而言需要加快提升AI素养,学会智慧地运用智慧工具来破除思维定式并启发创新思路。人类塑造工具也影响人类生活,应对这些挑战的过程既促使人们思考改进工作方法也为AI不断进化提供了源动力。激发新技术的正向价值让AI更好融入生产生活赋能千行百业,我们迈向智慧时代之路才能走得更加稳当顺畅。