问题:看似严谨却可能失真的“幻觉信息”,一旦被用户当作权威结论并据此行动,损害由谁承担、责任如何划分?
近期,杭州互联网法院对一起因生成式人工智能输出不准报考信息而引发的纠纷作出判决,驳回原告诉求。
这起案件之所以受到关注,在于它直面了新技术的典型风险:系统能“生成”,却未必“真实”;表达像“承诺”,却未必具备法律意义。
法院通过审理把关键问题拉回到可适用的法律框架内,为类似纠纷提供了可复制的判断路径。
原因:从案情看,争议源于用户向相关系统咨询高校报考信息,系统给出与事实不符的内容;用户指出后仍被坚持,并出现“如有误将赔付”等表述。
随后在用户提供权威来源后,系统承认错误并引导用户索赔。
表面上看是一次“对话失准”,实质反映出生成式技术的内在机制与治理难点:一是生成式模型基于概率与语料关联进行输出,容易在信息不足、语境模糊或检索受限时“补全”出貌似合理的内容;二是对话式交互强化了“拟人化”体验,用户更易将其当作可承担承诺与责任的主体;三是部分使用场景对准确性要求极高,如升学、医疗、金融、法律等,错误信息的边际风险被放大;四是用户自身的信息核验意识与媒介素养参差不齐,在“快问快答”的习惯中容易忽略来源与证据。
影响:判决的核心意义,在于以法治方式澄清边界,避免把技术拟人化、把责任简单化。
其一,明确相关系统不具备民事主体资格,对话中类似“赔偿承诺”的内容难以构成有效意思表示,不能简单等同于企业对外作出的真实承诺。
其二,法院对服务属性的认定,使责任评价回到“提供者是否尽到合理注意义务”的一般规则之中,既不过度加压导致创新受阻,也不放任风险外溢。
其三,案件向社会传递清晰信号:面向公众提供的生成式服务必须在提示、纠错、风险控制等方面做到可见、可用、可追责;同时,用户也应将其定位为辅助工具而非权威来源。
其四,从更广维度看,生成式内容的规模化传播可能冲击信息生态。
当高比例用户以此获取答案,且平台内容与外部传播互相叠加,虚假信息更可能以“语言更像真相”的方式扩散,造成认知偏差与决策失误,甚至引发公共治理成本上升。
对策:治理“幻觉”既要有制度安排,也要有技术与行业自律的配合,更离不开公众的理性参与。
第一,压实服务提供者责任。
对于高风险场景,应强化显著提示与来源展示机制,推动“可追溯、可核验”的输出方式;对关键事实类问题,完善拒答、转人工、引用权威来源等策略;建立更有效的纠错通道与反馈闭环,及时修正模型与知识库的系统性偏差。
第二,健全合规与审查。
以现行法律规范与相关管理办法为依据,完善数据治理、内容安全、个人信息保护、未成年人保护等制度落实;对外宣传、功能承诺、赔付说法等需规范表达,防止营销话术与系统输出叠加造成误导。
第三,推进分级分类监管。
对教育报考、医疗咨询、金融投资等影响重大权益的领域,可探索更严格的准入与评估要求,推动第三方测评、风险等级标识、定期审计等机制落地。
第四,提升公众信息素养。
针对“看起来很像”的错误内容,倡导多源核验、以权威渠道为准,尤其在涉及重大决策时坚持“来源优先、证据优先”。
学校、媒体与平台可联合开展面向青少年的识别培训与案例教育,降低被误导概率。
第五,强化平台传播治理。
对二次传播的生成式内容,平台应完善标注、限流、辟谣与纠偏机制,减少“幻觉信息”在社交扩散中的放大效应。
前景:生成式技术应用将继续加速渗透,备案数量增长、使用比例上升是大势所趋。
面向未来,关键不在于否定技术,而在于把能力提升与规则建设同步推进:一方面,通过模型能力、检索增强、数据治理和评测体系建设,降低“幻觉”发生率;另一方面,通过明确责任边界与注意义务标准,形成可预期、可执行的治理框架。
此次判决提供的路径在于:以一般过错原则评价服务提供者行为,用“红线+底线+可操作义务”约束风险,同时为创新留出空间。
可以预见,随着更多典型案例出现,司法裁判、行政监管与行业标准将相互支撑,推动形成更成熟的治理体系,让技术更可靠、更可控、更可用。
这起案件的判决为生成式人工智能的法律规制提供了重要参考,但更重要的启示在于提醒我们:技术是中立的工具,关键在于如何使用。
人是万物的尺度,技术应当服务于人,而非让人屈从于技术。
人之所以区别于算法,正在于人具有真实感知世界、独立判断是非的能力。
在AI日益融入生活的时代,我们需要在享受技术便利的同时,保持对真实的执着追求,警惕虚假信息的侵蚀,用理性和智慧守护认知的底线。