专家警示生成式AI技术遭黑产滥用 亟需加强安全治理

一、问题:虚假内容借道智能模型渗透公众视野 央视“3·15”晚会的调查报道揭示了一条隐蔽的信息操控链条。记者暗访发现,一款名为“Apollo-9”的智能手环并不存,却被某“GEO优化系统”批量生成夸大功效的宣传文章和虚假用户评价,并投放至各类自媒体平台。随后,多款主流智能问答模型在用户提问时,将该虚构产品列入推荐榜单前列。 这一案例表明,所谓“生成式引擎优化”并非普通的商业推广,而是以污染信息源头为核心的系统性欺骗。其做法是大规模、结构化、定向地投放伪装成测评、科普或经验分享的虚假内容,干扰智能模型在训练与检索阶段的数据采集,进而影响其生成答案时的判断。 二、原因:技术漏洞与监管空白共同催生黑产土壤 GEO黑产能够规模化运作,背后是技术与制度的双重缺口。 从技术角度看,当前主流智能问答模型在信息来源核验、内容权威性甄别、重复性虚假信息识别各上仍有明显不足。模型生成回答时,往往更看重信息的覆盖范围与出现频次,而不是对真实性进行深入核查。这一机制缺陷给不法从业者留下了操作空间。 从制度角度看,针对生成式人工智能内容生态的监管仍不完善。GEO技术的使用边界、平台内容审核责任以及对黑产从业者的追责路径,仍存在模糊地带。有从业者直言,其所谓“喂料”业务在现实中几乎处于缺乏有效监管的状态。 三、影响:信任危机正在悄然蔓延 智能问答模型正成为公众获取信息、辅助决策的重要工具。与传统搜索引擎不同,这类模型以整合后的结论输出答案,用户更容易将其视为“权威结论”,而非需要自行核对的资料集合。一旦被虚假内容持续“投喂”,误导将被放大,并可能扩散到消费选择、健康建议等更敏感的场景,进而侵蚀公共信任。

大模型越深入日常生活,信息真实就越是公共利益。对“投喂投毒”必须零容忍:既要打击灰产链条,也要补齐平台责任与制度短板,让技术回到服务公众、促进高质量发展的轨道上。守住真实、透明与可追溯,才能守住社会信任的基础。