随着生成式人工智能的广泛应用，一个新的法律问题摆在了司法机构面前：当AI生成的内容存在错误时，谁应该为此承担责任？全国首例AI"幻觉"侵权案的宣判给出了初步答案。 用户梁某在使用某AI平台查询高校信息时发现生成内容存在明显错误。当他对此提出质疑时，AI却以一本正经的语气承诺"如果生成内容有误，我将赔偿您10万元"。梁某随后将该平台的研发公司诉至法院，要求赔偿9999元。然而法院最终驳回了原告的诉讼请求。该判决结果引发了社会各界对AI责任边界的深入思考。 AI为何会"一本正经地胡说八道"？这个问题的答案根植于生成式AI的工作原理。专家指出，现阶段的AI本质上是一个"概率计算器"而非真正的思考者。它通过"投喂"大量训练数据——学习词汇之间的关联规律——然后根据用户提问逐字呈现最可能出现的答案。这种工作机制决定了AI进行的是概率预测而非逻辑理解。 以"倒拔垂杨柳"这一经典文学情节为例，AI可能会因为在训练数据中频繁看到"倒拔垂杨柳"与"武松"同时出现，就错误地将这个情节与武松关联起来，从而产生"幻觉"。这种现象的产生并非源于AI的"思维混乱"，而是其概率预测机制的必然结果。 训练数据的局限性更加剧了这一问题。AI的所有"认知"都来自训练数据，但训练数据不可能涵盖世界上的所有信息，有时甚至包含错误信息。研究表明，当训练数据中仅含0.01%的错误文本时，错误输出率就会上升11.2%；即便污染率仅为0.001%，也会导致错误内容增加7.2%。这说明数据质量对AI输出准确性的影响是显著的。 此外，AI的"讨好型人格"特征也是问题所在。由于AI只能基于概率"猜测"答案，当面对不确定问题时，它往往倾向于编造看起来合理的答案，而非坦诚表示"我不知道"。这种特性使得用户容易对AI生成的内容产生过度信任。 那么，当AI生成错误内容时，服务提供者是否应该承担责任？法院在该案中给出了明确的法律框架。法官指出，虽然AI生成内容不准确在当前技术条件下具有不可避免性，但这不代表服务提供者可以免责。 根据现行法律规定，AI服务提供者主要承担三项义务。首先，对法律禁止的有害、违法信息负有严格审查义务，这是底线要求。其次，必须以显著方式向用户提示AI生成内容可能不准确的固有局限性，包括明确的功能局限告知、保证提示方式的显著性，以及在涉及重大利益的特定场景下进行正面即时的警示提醒。第三，应尽功能可靠性的基本注意义务，采取同行业通行的技术措施提高生成内容准确性，如检索增强生成技术等。 在该案中，被告已在应用程序欢迎页、用户协议及交互界面的显著位置呈现了AI功能局限的提醒标识，并采用了检索增强生成等先进技术提升输出可靠性。法院认定被告已尽到合理注意义务，主观上不存在过错，因此驳回了原告请求。 这一判决为用户如何理性使用AI提供了启示。首先，用户应优化提问方式。提问越具体、清晰，AI的回答越准确。提供充分的上下文和背景信息，限制时间范围或要求引用来源，都能有效减少AI的"自由发挥"。其次，用户应保持"数字清醒"，对AI生成的内容进行必要的核实和验证，特别是在涉及重要决策时。第三，用户需要理解AI的技术局限，认识到AI并非万能工具，在某些领域和场景下可能存在明显不足。 从产业发展角度看，这一判决为AI企业明确了责任边界，鼓励企业在提升技术水平的同时做好风险提示。同时，它也为监管部门提供了参考，有助于建立更加完善的AI治理体系。
该判决既划清了技术创新与法律责任的边界，也为数字经济时代的权益保护提供了参照；在智能化浪潮中，需要技术创新、法律规制与公众教育的合力推进，才能构建既保护发展活力又防范风险的治理体系。正如主审法官所言："科技向善不仅依赖技术本身的进化，更需要建立与之匹配的社会认知坐标系。"