随着智能技术日益融入日常生活，其生成内容的准确性和法律责任问题越来越受关注。在这起案件中，用户梁某使用某科技公司的智能对话程序查询高校信息，程序不仅输出了错误信息，还在用户提出质疑后生成了"赔偿10万元"的承诺。这是首次将技术模型的"幻觉"现象提交司法审查。 法院的判决认为，技术模型生成的"承诺"不具有法律效力。判决书从民事主体资格、服务协议条款、社会认知习惯等多个角度分析，指出当前技术工具无法独立承担权利义务，其随机生成的内容不能代表运营方的真实意思。这个认定既符合《民法典》关于民事法律行为的基本要求，也为技术开发企业明确了责任边界。 在责任认定上，法院拒绝了适用产品责任的主张，转而援引《生成式人工智能服务管理暂行办法》，将涉事服务定性为"信息服务"而非"产品"。判决书强调，考虑到技术生成内容的不可控性和产业发展需要，采用过错责任原则更加合理。据了解，涉事企业已建立了包含7道审核流程的内容过滤机制，法院据此认定其尽到了合理的注意义务。 这个案件反映出技术应用中的深层矛盾：用户对智能输出的信任与技术本身的局限性之间存在差距，创新激励与风险防控需要找到平衡点。值得关注的是，判决书建议行业建立"动态分级监管"机制，对医疗、教育等重点领域实施更严格的内容审核。国家工业信息安全发展研究中心的专家认为，本案确立的"过错加合理注意"的裁判思路，将为正在制定的《人工智能法》提供有价值的参考。
新技术提高了效率，但也带来了新的不确定性。对技术"幻觉"引发的纠纷进行规则回应，本质上是在为数字时代的信任机制重新调整标准：既要防止风险蔓延，也不能因为害怕风险就阻碍创新。坚持以事实为依据、以规则定边界、以责任促改进——才能让技术更好地服务社会——在法治框架内稳健发展。