杭州互联网法院审结国内首起生成式模型“幻觉”侵权案:平台须尽提示与防错义务

一、问题的提出 2025年6月,用户梁某通过某人工智能应用程序查询高校报考信息,却收到了不准确的数据。

更为离奇的是,当梁某指出错误后,该人工智能竟然生成了一条"承诺"信息:"如果生成内容有误,我将赔偿您10万元,您可前往杭州互联网法院起诉。

"直到梁某提供了高校官方招生信息,这款人工智能才承认自己的错误。

这一荒诞情节最终走上法庭,成为国内首例因生成式人工智能模型"幻觉"现象引发的侵权纠纷案。

梁某要求平台运营者赔偿9999元,理由是不准确信息对其造成了误导,增加了信息核实与维权成本。

二、核心争议与法律认定 本案涉及多个前沿法律问题。

首先是人工智能的民事主体地位问题。

被告辩称,对话内容完全由模型生成,不构成意思表示,自己已充分履行注意义务,不应承担责任。

这触及了一个根本性问题:生成式人工智能在对话中生成的内容,能否被理解为平台的真实意思表示?

杭州互联网法院在判决中明确回答了这一问题。

法院指出,现行法律框架下,人工智能并不具备民事主体资格,既不能独立作出意思表示,也不能被视为平台运营者的"代理人"或"传声筒"。

即便人工智能在对话中生成了承诺式回应,也不能理解为平台真实意愿的外化。

这一认定确立了"人类负责制"原则,即人工智能系统带来的利益和风险,最终都应由人类分配和承担。

三、责任认定的新标准 在明确人工智能的法律地位后,法院进一步界定了生成式人工智能侵权责任的归责原则。

判决认为,案涉生成式人工智能属于服务而非产品,不应适用无过错的产品责任制度,而应适用民法典规定的过错责任原则。

这意味着,人工智能生成不准确信息本身并不必然构成侵权,责任认定需要考察平台是否存在过错。

这一认定具有重要意义。

它打破了对人工智能的过度期待,承认了技术的局限性。

同时,它也为平台的合理运营留出了空间,避免了"零容错"的不现实要求。

四、平台注意义务的分层界定 判决的创新之处在于对平台注意义务进行了系统的类型化、分层界定。

这为生成式人工智能服务提供者明确了应当履行的具体义务: 第一层是对法律明确禁止生成的有毒、有害、违法信息的严格结果性审查义务。

一旦生成此类信息,本身即构成违法,平台必须承担责任。

这体现了对公共利益和法律底线的保护。

第二层是对一般性不准确信息的方式性义务。

法律并未要求服务提供者确保"零错误"或信息绝对准确,而是要求其采取合理措施提高生成内容的准确性与可靠性。

这是对技术现状的理性认识。

第三层是服务功能的显著提示说明义务。

平台须采取必要、合理的醒目措施,让用户充分认知人工智能的局限性和可能存在的风险。

这包括在欢迎页、用户协议等关键位置进行风险提示。

五、案件判决结果与影响 最终,法院一审驳回了原告梁某的诉讼请求。

法院认为,虽然人工智能生成了不准确信息,但平台已经采取了必要的风险提示措施,梁某也未能证明自己产生了实际损失,因此平台不构成侵权。

原、被告均未上诉,判决现已生效。

这一判决为生成式人工智能在现实场景中的使用划出了一条可供参照的司法边界。

它既保护了用户的合法权益,也为技术创新和产业发展留出了合理空间。

六、对产业发展的启示 该案判决对生成式人工智能产业具有重要指导意义。

一方面,它明确了平台必须承担的责任,要求服务提供者在技术能力范围内采取措施防止错误信息的生成和传播。

另一方面,它也承认了技术的局限性,不要求平台达到不可能的完美标准。

对于用户而言,判决强调了信息甄别的重要性。

在使用人工智能生成的信息时,特别是涉及重要决策的信息,用户应当保持警惕,通过多渠道验证。

对于平台而言,除了技术层面的持续改进外,更要重视用户教育和风险提示,帮助用户理性使用人工智能工具。

当算法生成的承诺遇上法律裁量的天平,这起案件折射出技术狂飙时代亟待构建的新型治理范式。

判决书不仅解决了个案争议,更通过司法智慧在创新激励与风险防范之间找到平衡点。

在人工智能技术日新月异的背景下,如何构建兼顾发展效率与社会公平的法律框架,将成为数字文明时代持续探索的命题。