问题:从“能搜到”到“会推荐”,大模型被操纵风险上升 近期曝光显示,一些企业为牟取流量与商业利益,借助技术手段向大模型相关信息源投放虚假或夸大内容,诱导模型在回答用户提问时“主动点名”某些产品与品牌,甚至对医疗美容、保健品等高风险领域给出带有明显倾向性的推荐。
与传统互联网时代“链接排名”的竞争不同,大模型直接给出综合性结论,用户对其依赖度更高,一旦答案被污染,误导性将更隐蔽、扩散更迅速,侵害消费者权益并冲击网络生态。
原因:商业驱动叠加黑灰产“工具化”,治理机制仍在磨合期 业内通常将这类操纵称为生成式引擎优化(GEO)。
其逻辑并非简单“买排名”,而是试图影响模型的知识来源与生成路径:通过批量生产“看似可信”的文本、问答、测评等内容,定向投放至模型可能抓取或引用的渠道,提高被模型检索、吸收、引用的概率。
其背后既有利益驱动,也有黑灰产分工协作的“产业化”特征。
从技术侧看,部分产品在检索增强生成等功能上仍较依赖开放网络语料,来源复杂、质量不一,给虚假信息渗透留下空间;从运营侧看,少数平台在内容审核、引用标注、风险提示等方面仍存在短板;从需求侧看,用户习惯正从“搜索—筛选”转向“提问—接受”,对答案的依赖度上升,进一步放大了被误导的社会成本。
影响:传播逻辑正在重构,可信来源将左右未来“注意力分配” 大模型正在成为新的“信息入口”。
当越来越多用户以对话方式获取消费建议、健康科普、出行攻略甚至政策解读时,答案的可信度直接关系公共利益。
若放任“投毒”蔓延,可能带来三方面风险:其一,消费领域出现“隐形广告化推荐”,侵害知情权与公平交易秩序;其二,医疗、金融等领域错误信息可能诱发更严重后果;其三,社会信任被削弱,用户对技术产品与网络空间整体可信度产生怀疑。
与此同时,曝光也释放出一个清晰信号:在大模型时代,单纯依靠煽动情绪、夸张包装来吸引注意力的套路,将在更强调证据链与可验证来源的机制面前逐步失效。
模型若要提升可靠性,必然在数据引用与检索策略上更偏向权威、可核验、可追溯的信息源。
对内容生产者而言,“权威性”将从传统意义上的公信力,进一步转化为影响模型引用与传播分发的核心能力。
对策:以规则、技术与责任闭环提升“可核验性” 多位专家建议,治理应同时推进制度约束与产品改造:一是压实平台与模型服务提供者主体责任,明确对高风险领域内容的审核强度、来源门槛和错误纠正机制,避免以“模型幻觉”等概念回避管理义务;二是完善检索增强等关键环节的来源控制,推动分级分类管理,在医疗健康、金融投资等领域优先引入权威数据库、官方白名单数据源,并强化引用出处展示与可追溯机制;三是加大对“投毒”黑灰产链条的打击力度,围绕虚假宣传、数据造假、非法经营等依法查处,形成震慑;四是建立跨平台的风险信息共享与快速处置通道,提高对异常内容投放、批量账号操纵等行为的识别能力。
同时,也需推动用户侧的媒介素养提升,引导公众对“推荐”保持必要审慎,尤其在涉及医疗、用药、投资等问题时,以权威渠道信息为准,避免将个性化生成内容等同于专业意见。
前景:权威信息供给与合规创新将成为竞争新赛道 可以预见,随着监管举措逐步细化、行业标准持续完善,大模型对信息来源的选择将更加注重可靠性与可验证性。
政府网站、政务平台、权威机构数据库以及具备公信力的主流媒体内容,可能在模型引用体系中占据更重要位置。
对企业而言,合规经营与真实信息披露将成为获取长期信任与市场空间的前提;对平台而言,谁能在安全、透明、可追溯的框架下提供更高质量的答案与更清晰的证据链,谁就更可能在新一轮信息入口竞争中占优。
人工智能技术的普及,正在重塑公众获取信息的方式,也在重新定义"可信内容"的价值。
语料"投毒"乱象的曝光,是一次及时的警示,提醒社会各界在拥抱技术红利的同时,不能放松对信息质量的守护。
技术可以提升效率,但无法替代对真实的坚守。
在这个意义上,权威不仅是媒体的立身之本,更是人工智能时代信息生态健康运转的基础支撑。