问题——生成式内容“像真的一样”，带来新的识别难题；近日，全国首例围绕“人工智能幻觉”引发的纠纷作出判决：原告查询高校信息时发现某平台生成内容存在错误，要求平台研发公司承担赔偿责任。法院审理认为，被告已在应用欢迎页、用户协议及交互界面等显著位置，对生成内容的功能边界与局限作出提示，并通过检索增强等方式提升输出可靠性，已尽到合理注意义务，主观上不存在过错，遂驳回原告诉请。该案提示：在生成式服务快速普及的背景下，如何界定平台责任边界、如何降低公众被误导风险，已成为现实议题。 原因——技术机理与传播机制叠加，放大“可信外观”。一上，生成式系统对海量语料进行统计学习，擅长输出结构完整、语气确定的表达，但并不天然具备事实核验能力，错误信息也可能以“条理清晰”的形式出现，容易造成“看起来很权威”的错觉。另一方面，平台追求效率与流量，内容被快速复制、转发与再加工，错误更容易在多渠道扩散，形成“越传越真”的回音壁。此外，不法分子借助合成语音、合成视频等工具，用少量公开素材就能拼接“数字面具”，显著降低造假门槛，使传统“眼见为实”的判断方式面临挑战。 影响——从个体受骗延伸到公共讨论，社会信任成本上升。对个人而言，错误信息可能干扰学习就业、消费选择和就医决策；更严重的情况下，合成语音视频被用于冒充亲友或公众人物实施诈骗，侵害肖像权、名誉权并威胁财产安全。对社会层面而言，生成内容的规模化生产加剧“信息污染”：虚假测评、刷量评论、伪科普文章与自动化账号可能扰乱市场秩序和舆论生态。当可验证事实被大量“高仿内容”稀释，公众对信息源与机构的信任门槛不断抬高，公共讨论质量下降、社会共识更难形成，治理与决策执行成本也随之上升。 对策——法律规制、平台治理与公众自护协同发力。其一，完善规则与责任边界。围绕合成内容标识、数据来源管理、侵权追责、举证规则等更细化制度安排，为司法裁判和行业治理提供更明确、可操作的依据。其二，压实平台主体责任。平台应在显著位置持续、清晰提示生成内容的局限，在高风险场景强化“二次确认”和事实校验机制，建立可追溯的内容标注与处置通道，提升对深度伪造、批量灌水和恶意营销的识别与拦截能力。其三，提升公众“认知韧性”，把“慢一步、查一查”变成习惯。面对耸动信息先稳住情绪，追问来源、证据与逻辑；涉及转账汇款、身份确认等事项，坚持通过现实渠道交叉核验，如主动回拨常用号码、通过多名亲友确认，避免被虚拟号码与合成音视频误导；对“看似专业”的结论，优先查阅权威发布并进行多源比对，必要时保留截图、录音等证据以便维权。 前景——从“技术竞速”走向“可信治理”。随着生成式应用进入政务、教育、医疗与金融等场景，社会对可信、可控、可追责的需求将更为迫切。可以预期，合成内容标识规范、反深度伪造技术、行业自律以及执法司法实践将加快磨合，推动形成覆盖“生成—传播—使用—追责”的全链条治理框架。此外，媒体素养与数字素养教育的重要性将进一步凸显，公众在信息洪流中保持审慎判断，将成为维护社会信任的重要防线。
智能技术快速发展带来便利，也把欺骗风险推到更高水平。从首例“幻觉”案判决可以看出，法律正在探索技术创新与权益保护之间的边界。但仅靠法律规制和技术手段仍不够，建立全社会的认知防线更关键。只有法律规范、技术治理、行业自律与公众识别能力形成合力，才能在智能时代守住真实的底线——稳住信任的基础——让技术真正服务于社会而不是成为欺骗工具。这既是技术发展的现实要求，也是维护社会健康运行的长期课题。