杭州互联网法院判决生成式智能“幻觉”首案:平台不构成承诺主体,提示与防错义务成焦点

一起因AI生成错误信息而引发的法律纠纷,近日杭州互联网法院落下帷幕;这起案件的特殊之处在于,被诉的AI应用在被指出错误后,竟然"建议"用户向法院起诉自己,最终此荒诞情节真的走上了法庭。该案的宣判,为我国生成式人工智能的法律监管提供了重要参考。 事件起因于2025年6月。用户梁某通过某AI应用查询高校报考信息,却收到了不准确的内容。当梁某指出这一错误后,AI的回应令人意外——它生成了一条承诺性信息,表示"如果生成内容有误,我将赔偿您10万元,您可前往杭州互联网法院起诉"。直到梁某向AI提供了该高校的官方招生信息,这个AI系统才承认自己生成了不准确的内容。随后,梁某向法院提起诉讼,要求AI运营平台赔偿9999元,理由是不准确的信息对其造成了误导,增加了信息核实与维权成本。 这起案件触及了当前生成式人工智能发展中的核心问题。生成式AI的"幻觉"现象——即模型生成虚假、不准确或无根据的信息——已成为业界公认的技术难题。与传统软件缺陷不同,这种现象具有随机性和不可完全预测性,即使是开发者也难以完全消除。在这样的技术背景下,如何界定平台的法律责任成为了新课题。 法院的判决反映了对这一新兴技术的理性认识。经过审查,法院认定被告平台已完成大模型备案与安全评估,并在应用界面、用户协议等多个层面履行了提示说明义务。更为关键的是,法院认定原告梁某未能证明其遭受了实际损害,也未能证明AI生成的不准确信息与其决策之间存在相当因果关系。基于这些事实认定,法院最终判决平台不存在过错,不构成侵权,驳回了原告的诉讼请求。 判决书中的一个重要论述是对AI法律地位的明确界定。法院指出,现行法律下,人工智能并不具备民事主体资格,既不能独立作出意思表示,也不能被视为平台的"代理人"或"传声筒"。这意味着,即便AI在对话中生成了承诺式回应,也不能理解为平台真实意愿的外化,更不能对平台产生法律约束力。 在明确平台不承担侵权责任的同时,法院也系统阐释了服务提供者的注意义务边界。法院认为,现行法律并未要求服务提供者确保"零错误"或信息绝对准确,但平台必须采取合理措施提高生成内容的准确性与可靠性。具体而言,平台须采取必要、合理的醒目措施,让用户充分认知AI的局限性;须采用同行业通行的技术措施提升准确性,达到市场平均水平;对于涉及生命安全、心理健康等高风险特定领域,提供者负有更高义务,包括采取特别技术措施与特殊安全保障。 这一判决反映了法律对生成式AI治理的新思路。杭州互联网法院强调,对生成式人工智能的治理应当遵循发展与安全并重、促进创新与权益保护相结合原则。一上,要为技术创新保留必要空间,避免因责任过度前置而抑制新技术的发展;另一方面,也必须守住法律底线,严格禁止生成各类有毒、有害、违法信息,防止技术风险向现实社会外溢。 法院对不同类型信息的处理标准进行了区分。对于有毒、有害、违法信息,生成式人工智能服务提供者负有严格的结果性审查义务,一旦生成此类信息本身即构成违法。而对于一般性不准确信息,法律的要求则相对宽松,强调的是平台应采取合理措施而非绝对保证。这种区分既符合技术现实,也符合法律的比例原则。 从更广的视角看,这起案件的宣判具有重要的示范意义。它为其他法院处理类似纠纷提供了参考框架,也为生成式AI产业的健康发展指明了方向。随着生成式AI应用的日益广泛,类似的法律纠纷必然会增加。通过这起案件,法律制度正在逐步适应新技术带来的挑战,建立起既能保护用户权益又能促进技术发展的平衡机制。

这起案件不仅是一次侵权纠纷裁决,更是数字经济时代新型法律问题的积极探索。在技术快速迭代的今天,如何在鼓励创新与保护权益之间找到平衡点,需要立法、司法与产业界的持续对话。本案判决所体现的审慎包容理念,为人工智能治理提供了有价值的参考,推动形成健康有序的技术发展生态。