问题——大模型被“投毒”,虚假信息披上“权威外衣” “3·15”晚会曝光的案例显示,一些不法商家通过付费使用所谓GEO优化工具,批量生成虚构产品信息和软文——并多渠道集中投放——诱导大模型在检索与生成时把广告话术“抬升”为推荐结论,甚至让并不存在的商品进入榜单和建议列表。表面看是“优化”,实质是对信息生态的系统性污染:通过操控内容供给端,干扰模型对事实与可信来源的判断,进而影响公众认知与消费决策。 原因——利益驱动叠加治理短板,形成黑色产业链条 从动因看,流量变现与营销竞争催生“走捷径”的需求。相较传统平台投放,这类“投喂式操控”更隐蔽、扩散更快,成本低、见效快,容易被不法分子当作牟利工具。 从技术与治理看,当前部分大模型在数据来源可信度判断、跨源一致性校验、恶意内容模式识别等仍有不足,尤其面对规模化、模板化、跨平台分发的软文矩阵时,容易被“内容堆叠”误导。同时,部分应用在引用外部信息、来源标注、风险提示、可追溯审计等机制上不够完善,给黑产留下操作空间。 影响——伤害消费者权益,扰乱市场秩序,侵蚀产业公信力 对公众而言,被“投毒”的输出一旦被当作决策依据,可能导致错误购买、健康误判、投资误导等现实损失,消费者知情权与选择权受到侵害。 对市场而言,虚假信息通过模型输出获得“背书”,会挤压正规经营者空间,破坏公平竞争秩序,助长劣币驱逐良币。 对产业而言,安全隐患会削弱社会对智能应用的信任,影响对应的技术在政务、金融、医疗等关键领域的落地。更重要的是,信息污染具有链式传播特征,一旦形成“生成—分发—再训练/再检索”的循环,治理成本将明显上升。 对策——以系统治理应对新型风险,关键网络主体需担当“守门人” 业内普遍认为,应对大模型“投毒”不能只靠单点修补,而要打通数据、模型、应用、网络与合规的全链条治理。通信运营商处在网络枢纽位置,既承载数据传输,也具备安全运营与用户触达能力,在防护体系建设中作用突出。 一是前移防线,强化模型输入侧风险识别。针对提示注入、恶意诱导、虚假内容渗透等问题,相关主体正推动建立“检测—拦截—评测—迭代”的闭环机制,通过风险预警、自动化扫描与策略更新,尽量在源头降低“投喂”成功率。以中国电信推出的“见微”大模型安全一站式服务为例,强调攻防对抗与能力验证并重,并提供面向中文场景的检测方案与评测数据支撑,提升行业对攻击样式的识别与基准测试能力。 二是聚焦应用侧,把防滥用作为落地关键环节。随着生成式技术被用于换脸、变声、脚本化拨打等新型诈骗,通信场景成为风险高发区。运营商在反诈上具备号码、网络与行为分析等优势,可通过模型化手段提升识别准确率与响应速度,形成“检测—预警—拦截”链路,减少用户财产损失。中国电信探索的防诈辅助大模型增强传统识别能力的同时持续学习新型诈骗手法,并叠加“天翼防骚扰”等产品能力,说明了“技术防护+运营处置”的组合思路。 三是护航政企场景,建立可审计、可控、可追溯的使用边界。政务、金融等领域对数据安全、内容合规和权限管理要求更高,多智能体协作也带来新的权限与泄露风险。面向企业办公与行业应用,运营商正通过安全评测、输入检测、运行监控等能力组合,构建“围栏式”防御体系,重点应对敏感信息外泄、越权调用、生成内容合规性判定等问题,为政企规模化应用提供安全底座与合规支撑。 前景——从“事后堵漏”走向“长效治理”,以制度与技术双轮驱动 业内人士指出,大模型安全治理将呈现三上趋势:其一,技术侧更强调持续对抗与快速迭代,围绕中文语境、行业话语体系和新型攻击样式持续更新检测算法与评测基准;其二,体系侧更强调全生命周期管理,覆盖“研发—训练—部署—运行—退役”各环节,强化数据源头管控、过程监测预警与应急处置追溯;其三,生态侧更强调协同共治,推动平台、模型企业、运营商、行业用户与监管部门的信息共享、标准对齐与联动治理。 因此,中国电信等运营主体提出持续加大研发投入夯实底座,以“安全大脑”提升实时监测能力,并探索量子安全等新技术与密码体系的融合应用,目标是在数据传输、存储与调用链路上提升加密与防护强度,推动安全能力从“可用”走向“好用、管用”。
当技术创新与恶意利用的竞速进入关键阶段,筑牢AI安全防线已不仅是技术问题,更是数字治理的系统工程;此次事件所揭示的路径表明,只有把安全能力嵌入技术研发与应用全流程,才能确保人工智能在规范轨道上释放价值,为数字经济高质量发展提供支撑。