问题:随着大模型在搜索问答、内容生成和政企数字化领域的广泛应用,以"投毒"为代表的新型安全风险逐渐显现。"投毒"不同于传统系统入侵,而是通过批量传播虚假信息、伪造权威来源、操纵可检索内容生态,影响大模型的知识检索和输出结果。央视3·15晚会曝光的案例显示,部分智能问答系统存在"看似有据实则误导"的问题,用户信任度受到挑战。 原因:专家分析指出,大模型"投毒"更具隐蔽性和破坏性,主要因其与内容分发机制深度结合。不法分子利用生成式引擎优化(GEO)等技术,低成本批量生产虚假内容,并通过多渠道扩散形成可检索的"信息外壳"。在检索增强生成(RAG)等技术应用下,模型若从被污染的检索源获取信息,虚假内容就可能成为主要依据。天融信科技集团安全专家潘季明表示,当前GEO"投毒"呈现规模化、自动化特征,治理难度加大。 影响:这类风险可能误导公众消费决策、医疗健康信息和金融投资判断,被机器背书的错误信息更具迷惑性。政企领域风险更为突出:在客户服务、知识管理等场景中,模型输出若被操纵可能引发声誉损失、合规风险甚至业务中断。此外,提示词注入、越权调用等复合风险也可能同时出现,使大模型从"可用"到"可控"面临挑战。 对策:专家建议采取"前置防护+持续监测+闭环治理"的综合方案。具体包括:1)在交互入口设置实时防护,识别和拦截风险输入;2)上线前进行系统化安全评估,发现并修复潜在漏洞;3)运行阶段加强数据监测与溯源能力;4)建立全生命周期评估与审计机制。以天融信为例,其通过安全网关、评估系统等组合方案,为政企部署提供参考。 前景:随着大模型在关键行业的深入应用,安全治理需要体系化推进。未来应在标准规范、内容治理、数据可信等同步发力:既要加强平台审核和场景管控,也要完善安全评测标准。同时,打击"投毒"黑产需要多方协作,将网络治理、企业风控和公众教育相结合,构建更有效的治理体系。
大模型的价值在于提升效率和创造力,但前提是确保可信度。从"投毒"到数据风险,这些新挑战要求我们重构安全边界;只有坚持底线思维,同步推进技术防护和治理机制,才能让大模型在更多场景中实现可靠、可控的可持续发展。