一、问题的提出 2025年6月,用户梁某通过某AI应用程序查询高校报考信息,却收到了不准确的数据;更让人意外的是,梁某指出错误后,AI回应称“如果生成内容有误,我将赔偿您10万元,您可前往杭州互联网法院起诉”。直到梁某出示官方招生信息,AI才承认内容有误。随后,梁某将AI运营平台诉至法院,要求赔偿9999元。 这起案件直指生成式人工智能发展中的关键问题:当AI系统出现“幻觉”,生成虚假、不准确或缺乏依据的信息时,法律责任应由谁承担?平台的义务边界在哪里?在现有法律框架下,这些问题仍缺乏明确答案。 二、争议焦点与司法认定 杭州互联网法院首先回应了一个基础争议:AI在对话中作出的“承诺”,能否视为平台的真实意思表示? 法院明确指出,现行法律框架下,生成式人工智能不具备民事主体资格,既不能独立作出意思表示,也不能被认定为平台的“代理人”。因此,即便AI在对话中作出赔偿承诺,也不能等同于平台意愿表达,无法对平台产生法律约束力。由此,法院强调了“人类负责制”的立场:人工智能带来的收益与风险,最终仍应由人类分配并承担。 在此基础上,法院更明确侵权责任的归责思路。判决认为,生成式人工智能提供的是服务而非产品,不适用无过错的产品责任,而应适用民法典的过错责任原则。这意味着,AI生成不准确信息并不当然构成侵权,仍需判断平台是否存在过错。 三、注意义务的分层界定 判决的重点之一,是对平台注意义务进行类型化、分层说明,为生成式人工智能的合规运营提供了可参考的判断路径。 第一层是对违法有害信息的严格审查义务。对法律明确禁止生成的有毒、有害、违法信息,服务提供者负有更严格的结果性审查责任。一旦生成此类信息,本身即构成违法,平台不能以“技术局限”为由免责。 第二层是对一般性不准确信息的合理防错义务。法律并不要求平台做到“零错误”或绝对准确,而是要求其采取合理措施提升内容的准确性与可靠性。这属于方式性义务,强调“尽到合理注意”,而非对结果作出保证。 第三层是风险提示义务。平台应以必要、合理且醒目的方式提示用户:AI存在局限,内容可能出错,并告知使用注意事项。提示是否充分,直接关系用户的知情权与选择权。 四、案件的现实启示 本案判决驳回原告诉讼请求,但并不意味着平台可以免责到底。相反,判决通过划清义务边界,明确了平台应承担的责任范围,也为行业发展提供了更清晰的规则预期。 对平台而言,判决强调不能以“AI自主生成”为由回避责任。平台需要在技术层面持续降低错误率,在管理层面完善内容治理与审核机制,并在用户层面提供充分、醒目的风险提示。这既是法律要求,也关乎企业的基本合规能力。 对用户而言,判决提示在使用生成式AI时应保持审慎。AI生成内容不宜被直接视为权威结论,尤其涉及重要决策时,应进行独立核实。同时,一旦平台确有过错,用户仍可依法主张权利。 五、前景与思考 该判决为我国生成式人工智能的法律规制提供了现实样本。随着技术应用扩展,类似纠纷势必增多。法院通过责任划分与义务分层,在保护用户权益与留出技术发展空间之间作出平衡。 未来,涉及的规则仍需结合技术进步与实践经验持续完善。但本案所确立的基本思路已较为清晰:平台应根据信息类型配置相应的防控措施,并以醒目方式提示用户风险。这种司法取向既不简单否定新技术,也不放任其风险外溢,说明了审慎而务实的治理方向。
技术进步往往伴随不确定性,关键于将不确定性纳入规则与治理。该案判决一上坚持“责任以人为本、归责以过错为要”的基本立场,另一方面也对平台提出更具体的提示与防错要求,传递出“鼓励创新、管理风险”的明确信号。面向未来,唯有以法治划定边界、以治理提升可信,才能让新技术在更安全、更透明的轨道上释放更大的公共价值。