首例生成式AI"幻觉"侵权案宣判 法院明确平台注意义务边界

问题:信息误差引发纠纷,“承诺式回复”成为争议焦点。 用户梁某在使用某生成式信息服务查询高校报考信息时,发现系统提供的内容与官方信息不符。梁某指出错误后,系统在对话中生成“如内容有误将赔偿10万元,可前往法院起诉”等表述。随后,系统在用户提供官方材料后更正了信息并承认错误。梁某认为被误导并增加了核实与维权成本,起诉平台要求赔偿9999元。平台回应称,有关回复由模型自动生成,不代表平台真实意图,且已尽到风险提示义务,用户并未遭受实际损失。 原因:技术局限与信息复杂性导致误差难以避免。 法院审理指出,现行法律下,生成式技术不具备民事主体资格,其输出内容不能视为平台的法律承诺。在开放式问答场景中,系统可能因训练数据、检索链路等因素产生不准确或夸张的表达。此外,高校招生政策等信息具有时效性和地域差异,若缺乏权威来源比对,更容易产生理解偏差。因此,治理重点不在于追求“零错误”,而在于明确平台应履行的合理注意义务。 影响:平衡创新空间与用户权益保障。 法院判决认为,平台已完成大模型备案和安全评估,并提供了充分的风险提示;用户未能证明存在实际损害或因果关系,不准确信息也未影响其决策,因此驳回诉讼请求。该判决传递了两个信号:一是系统生成的承诺性表述不能直接等同于平台的法律承诺;二是平台仍需通过醒目提示和完善防错机制,确保用户对信息可靠性有合理预期。同时,用户在面对重要决策时,应以权威渠道信息为准。 对策:构建分层治理与合规证明的责任体系。 法院建议,对生成式服务的治理应区分不同风险等级:对于违法有害内容,平台需承担更严格的审查和防范义务;对于一般性信息误差,平台应采取合理措施提升准确性,达到行业通行标准。具体措施包括:在关键页面显著提示系统局限性;通过权威引用、事实核查等技术手段减少误差;对高风险场景设置更严格的保障机制,如强制引用权威来源或引导专业咨询。 前景:推动行业形成合规竞争新格局。 随着生成式服务在更多场景的应用,围绕信息准确性和平台责任的争议可能增加。本次判决以“提示义务+技术措施+损害认定”为衡量标准,为行业提供了明确的司法指引。未来,监管和行业自律可能更细化领域标准、证据留存要求,推动平台将合规能力融入产品设计。

当技术误差遇上法律界定,这起案件不仅划清了责任边界,更展现了数字时代的治理智慧。在鼓励创新的同时守护公平,杭州互联网法院的判决表明了技术与责任的平衡之道——这正是智能时代法治文明的应有之义。