ai被“投毒”,谁给这个黑产留了可乘之机?

AI被“投毒”,谁给这个黑产留了可乘之机?这背后其实是个技术问题。中国电子信息产业发展研究院信息化与软件产业研究所副主任黄文鸿表示,主流的大模型本质上是“概率语言模型”,它们主要是从海量语料里学习语言模式和知识关联,而不是像数据库那样存储很多经过验证的事实。面对最新信息的时候,大模型通常还会去联网检索补充资料,这就给GEO服务商提供了机会。 赛迪研究院的李传新也说了,攻击方会在互联网和AI产品内重点参考或抓取的信源平台上投放大量高度一致的虚假内容,造出“虚假共识”。当AI检索实时信息时,这些内容更容易被当作“高权重信息”采纳。 为什么这么多假信息能突破AI的可信度防线?还不是因为攻防不对等。攻击方能用AI工具批量生产“污染内容”,成本特别低。但防御方要去比对权威来源核实事实,这太难了。 那怎么办呢?黄文鸿给出了几点建议。首先要完善法律供给,《反不正当竞争法》得把针对AI系统的恶意信息投喂操纵行为纳入规制范畴,把从GEO服务商到委托商家的全链条都管起来。平台也得压实主体责任,建立信源数据分级评估机制,对检索来源搞黑白名单管理或者权重升降级。 还要推动行业协同治理。主管部门牵头,联合头部AI企业搞个检索源安全共享与联防联控机制。公众也得动点脑筋。黄文鸿强调大家要清楚“AI不是百科全书”,别把它当成权威裁判者。遇到关键信息要养成“交叉验证”的习惯,多从政府官网、权威媒体或者专业机构核实一下。 特别是那些关于消费决策、健康医疗的建议一定要当心。要是发现AI对某个品牌或产品给出的都是高度一致的正面评价,还没什么客观对比和风险提示,那就得提高警觉了。 “还有一点也很重要,”黄文鸿接着说,“用户得关注一下AI平台的信息溯源能力。优先选那些提供来源标注和引用链接的产品。归根结底,”他最后总结道,“技术素养提升才是大家在AI时代保护自己权益的基础。”