问题: 生成式应用信息查询、文本生成等场景快速普及,但输出内容出现偏差甚至"自信式错误"的情况屡见不鲜。一旦这类偏差涉及教育报考、医疗咨询、投资理财等高风险决策,容易造成严重误导。本案中,用户在查询高校报考信息时获得不准确内容,而系统随后又生成了"若内容有误将赔偿十万元"的表述,由此引发了"承诺是否有效""责任如何划分"的讨论。 原因: 法院的审理理清了三层逻辑。首先,生成式系统并非民事主体,不具备独立意思表示能力,系统生成的"赔偿承诺"不能直接等同于服务提供者的真实意思,不能据此认定合同担保或单方允诺成立。其次,生成式服务属于"服务"范畴,责任认定应适用一般侵权规则,关键是看服务提供者是否存在过错、是否尽到合理注意义务,而不是简单套用无过错的产品责任逻辑。再次,侵权成立还需满足实际损害和因果关系。用户主张因误导错失报考机会、产生额外成本,但未能提供有效证据;从因果关系看,有关不准确信息并未实质性影响其最终决策,难以建立法律上的因果链条。 影响: 此判决对同类纠纷具有指引意义。一上,明确了"对话生成的承诺不等同于企业承诺"的边界,有助于遏制将系统文本直接当作法律承诺的做法,避免责任认定走向情绪化。另一方面,判决强调了风险提示与技术治理的重要性:服务提供者若应用首页、用户协议、交互界面等位置提示功能局限,并采取检索增强等手段提升可靠性,通常可被视为履行了合理注意义务。此外,判决也提醒用户在主张权益时须以证据为支撑。教育报考等事项往往涉及多个信息来源和决策环节,若要主张"被误导导致损失",应证明损害确实发生、成本确已支出、机会确已丧失,并证明生成内容对决策产生了关键影响。 对策: 业内与社会治理可从三个上共同推进。对服务提供者而言,应完善"显著提示+分级使用"机制,对高风险领域的输出设置更强的来源标注、时间戳、引用链接与不确定性提示,避免以确定性口吻呈现未经核验的信息;同时建立便捷纠错通道与可追溯记录,提升处理效率与透明度。对平台运营而言,应强化对营销话术、误导性"保障承诺"的合规审查,防止系统生成或界面配置诱发用户对赔付、担保的不当期待。对公众而言,应将生成式应用定位为"辅助工具"而非"权威来源",涉及报考政策、资格条件、收费标准等关键信息时,以官方网站、主管部门发布及学校招生章程为准,多渠道交叉验证,必要时咨询专业机构。 前景: 生成式技术将持续嵌入公共服务与商业服务场景,纠纷类型也将从"信息不准"延伸至"引用不明、来源不清、建议失当、诱导交易"等更复杂形态。未来治理重点可能集中在三个上:一是在规则层面深入细化"合理注意义务"的行业基线,明确提示应当如何显著、引用应当如何披露、纠错应当如何闭环;二是在技术层面提升可解释、可溯源能力,让用户了解信息来源与可信度;三是在司法层面通过典型案件持续明确证据标准与因果判断路径,引导各方形成稳定预期。随着合规与技术同步迭代,服务质量将提升,但"把关"仍需制度、平台与个人共同承担。
这个判决具有深远的现实意义;它为生成式AI的法律地位提供了明确的司法认定,也为用户、企业和监管部门划定了权责边界。对用户而言,应理性看待AI生成内容,重要决策不应过度依赖AI输出,而需多方验证。对企业而言,采取必要的技术防范和风险提示措施后,已基本履行了法律责任。对行业而言,这一判例为生成式AI的规范发展提供了有益的法律指引。随着对应的法律制度的完善,生成式AI技术与法律框架的适配度将不断提高,有助于推动这一新兴技术在安全、可控的轨道上健康发展。