问题显现: 近期曝光的生成式人工智能"信息投毒"事件,揭示了技术商业化进程中的监管盲区。
部分服务商利用生成式引擎优化(GEO)技术,通过批量制造虚假内容,人为干预AI系统的信息输出。
这种新型技术滥用行为,不仅扭曲了信息传播生态,更可能误导公众的消费决策和认知判断。
深层诱因: 据中国电子信息产业发展研究院专家分析,当前主流大模型基于概率语言模型架构,其知识获取主要依赖海量语料训练,而非结构化的事实数据库。
这种技术特性使得系统在面对实时信息时,容易受到人为操纵的"高一致性内容"干扰。
更值得警惕的是,攻击方可借助技术工具低成本制造海量虚假信息,而防御方却需投入高成本进行人工核验,形成明显的攻防不对称。
现实影响: 这种技术滥用已形成完整产业链。
从内容生产、平台投放到结果操纵,黑产从业者通过矩阵式账号运营,在重点信源平台批量投放经过"优化"的内容,人为制造信息偏差。
特别是在消费推荐、医疗健康等关键领域,失实信息可能直接损害公众权益,动摇社会对新兴技术的信任基础。
治理对策: 针对这一挑战,专家提出多维度解决方案: 立法层面,建议将"针对AI系统的恶意信息操纵"明确纳入《反不正当竞争法》规制范畴,建立从服务商到委托商家的全链条追责机制。
技术层面,AI服务平台应建立信源分级评估体系,实施黑白名单管理,并开发异常流量监测系统,从源头提升"投毒"门槛。
行业层面,推动建立由主管部门牵头、头部企业参与的检索源安全共享机制,形成联防联控的"免疫屏障"。
用户教育方面,强调培养"技术工具理性",建议公众对AI输出信息保持必要警惕,特别在重大决策前进行多渠道交叉验证。
发展前瞻: 随着生成式技术应用场景不断拓展,其信息治理将面临更复杂挑战。
专家指出,未来需平衡技术创新与规范发展,既要防范技术滥用风险,又要避免过度监管抑制产业活力。
建立动态调整的治理框架,或将成为促进人工智能健康发展的关键。
治理生成式内容“投毒”,本质上是在新技术浪潮中重建“可信信息”的生产与流通秩序。
只有把法律规则的刚性约束、平台治理的技术能力、行业协同的联防机制与公众理性使用的习惯共同织密,才能让技术更好服务于公共利益与高质量发展,也让每一次信息获取都经得起追问与检验。