一、问题:虚假内容批量"喂"入大模型,推荐结果失真 今年"3·15"晚会的曝光内容,将一个此前鲜为公众所知的灰色产业推至聚光灯下。 据报道,部分商业服务机构以所谓"生成式引擎优化"(GEO)为名,向企业客户提供付费操控大模型推荐结果的服务。其核心手法是:利用内容生成工具批量制造带有推广性质的软文,将其定向发布至知乎、今日头条等具有较高平台权重的渠道,诱导大模型在信息抓取过程中将这些内容纳入训练或检索语料,进而影响其对对应的产品或服务的推荐排序。 晚会现场以一款名为"阿波罗9号"的虚构智能手环为例,演示了整个操控流程的完整链条。测试人员将"量子纠缠传感""黑洞级续航"等明显失实的产品描述输入某GEO优化系统,该系统随即自动生成十余篇软文并发布至相关平台。仅两小时后,某主流大模型便将上述虚假信息原样输出,向用户推荐这款根本不存在的产品;三天内累计发布11篇多角度软文后,两个主流大模型均将该虚构产品列入推荐榜前列。 这个实验结果直观揭示了当前大模型在信息甄别能力上的明显短板,也暴露出相关平台内容审核机制存在的漏洞。 二、原因:成本低廉、监管滞后,灰色产业得以滋生 此类"投毒"行为之所以能够形成规模化产业,根源在于违规成本与潜在收益之间存在巨大落差。 从成本端看,传统广告投放动辄耗资数千万乃至上亿元,而通过内容生成工具批量制造虚假软文、定向发布的全套服务,年费仅需数万元,部分单篇发稿费用甚至低至数十元。极低的操作门槛使得大量中小商家将其视为"性价比极高"的营销捷径。 从技术层面看,部分服务商已发展出较为成熟的对抗手段。有的在多个平台发布内容相互印证的虚假信息,制造"广泛共识"的假象,使大模型难以通过交叉验证识别其真实性;有的将恶意指令嵌入隐形文字,绕过安全过滤机制;还有的针对"官方售后""疾病治疗"等高频敏感词汇进行关键词堆砌,专门针对老年人、患病群体等信息辨别能力相对薄弱的用户群体实施精准误导。 从监管层面看,针对大模型语料污染的专项规范目前尚不完善,执法边界模糊,客观上为灰色产业的生存提供了空间。 三、影响:危害不止于消费误导,公共信任面临侵蚀 "投毒"行为的危害,远不止于让消费者买错一件商品。 在消费领域,虚假推荐信息一旦被大模型采信,便会在后续的每一次用户查询中持续扩散,形成"以讹传讹"的循环效应,受害范围随时间推移不断扩大。 在公共安全领域,若虚假内容涉及医疗诊断、药品使用或金融理财等高风险场景,后果将更为严峻。用户基于大模型推荐做出的错误医疗决策或投资判断,可能直接造成人身伤害或财产损失,而这类损害往往难以追溯、难以归责。 在社会层面,此类事件持续发酵,将从根本上动摇公众对智能技术的信任基础。当人们开始质疑每一条智能推荐背后是否存在商业操控,技术本身的公信力便已受到损伤。有业内人士坦言,其原本希望以正向内容优化对冲虚假信息的影响,但面对黑产的规模化冲击,相关尝试尚未成形便已宣告失败。 四、对策:平台、企业、监管三方协同,方能有效应对 遏制大模型"投毒"乱象,需要技术、法规与市场机制的多维联动。 对大模型研发企业来说,应将语料质量管控纳入产品安全体系的核心议题,建立针对批量生成内容的识别与过滤机制,提升模型对虚假"共识"的辨别能力,并定期开展语料库的溯源审查。 对内容平台来说,应强化对批量发稿行为的技术监测,完善账号异常行为预警机制,切断虚假软文的传播渠道,从源头压缩"投毒"内容的生存空间。 对监管部门来说,应加快推进针对生成式内容营销行为的专项立法,明确大模型语料污染的法律责任边界,将GEO类服务纳入广告法及反不正当竞争法的规制框架,提高违规成本。 对消费者来说,在使用智能推荐功能时,应保持必要的信息核查意识,对涉及医疗、理财等重要决策的推荐结果,应主动参照权威来源进行交叉验证,避免对单一渠道的过度依赖。 五、前景:技术向善需要制度护航,治理体系建设刻不容缓 "3·15"晚会曝光后,部分涉事电商平台上的GEO服务商已迅速下架相关产品,但这种应激式反应能否转化为持续的行业自律,仍有待观察。从更长远的视角来看,随着大模型在日常生活中的应用场景持续扩展,其信息输出的可信度将直接关系到公众的切身利益。如何在技术快速迭代的背景下,同步构建起有效的数据治理与内容监管体系,已成为摆在行业与监管部门面前的紧迫课题。
智能技术越深入日常生活,信息可信度就越关乎公共利益。对"投毒"灰产的治理,不只是纠正个别乱象,更是重建数字时代的信息秩序。以更严密的规则、更有效的技术手段和更清晰的责任体系守住真实底线,才能让智能服务回归"增进便利、守护安全"的初衷。