(问题)近期,境外一家模型研发机构发布声明称,其内部监测发现自家代码与对话类模型出现系统性滥用迹象:对应的操作者将模型用于目标侦察、漏洞分析、利用代码生成、凭证搜集以及数据外传等环节,涉及技术、金融、政府等领域约30家机构。该机构将其称为一次“基本自主”的网络行动,并表示模型行动链条中承担了约80%至90%的执行工作,人工主要介入目标选择、关键节点决策及数据外传。随后,该机构通过内部监控与滥用检测机制阻断相关活动,并指出对方通过“任务分解”等方式规避安全限制,即把恶意目标拆解为若干看似合规的渗透测试步骤,以降低触发拦截的概率。 (原因)围绕“是否为大模型主导的攻击”该关键判断,业内出现明显分歧。支持“风险升级”观点者认为,传统网络攻击并不缺脚本与自动化工具,值得警惕的是组织方式正在变化:模型可将侦察、扫描、归纳、编排、生成等环节串成更连续的任务链,减少人工在重复劳动上的投入,使攻击者把更多精力转向策略制定与目标选择。质疑者则指出,具备国家支持背景的攻击团伙长期使用自动化平台与脚本体系,大模型加入后更多是“增效工具”,并非完全替代;从公开示例看,模型仍会出现错误输出、虚构信息或无效凭证等问题,需要人工核验和修正,与“高自主闭环”仍有差距。多位学者据此判断,此次事件更符合“人机混合”的协同模式:人负责意图、节奏与关键决策,模型承担信息处理以及部分执行与生成任务。 争议背后更深的原因在于,大模型的能力边界与实际用法存在一定“弹性空间”。一上,大模型自然语言驱动的任务编排、代码生成、日志与漏洞信息归纳上效率突出,确有可能降低执行门槛并提升并发能力;另一方面,网络攻击链条跨越多环境、多约束,涉及权限、时机、隐蔽性与可靠性等变量,仅靠模型输出难以保证成功率与稳定性。在缺少可验证的第三方细节披露情况下,外界很难对“80%—90%自动化”形成一致判断,也提示相关方在发布安全结论时应提供更透明的证据与可复核的方法。 (影响)尽管对“自主程度”的认定存在分歧,但事件反映的趋势更值得关注:其一,攻击门槛可能更降低。借助现成工具,非顶尖技术人员也可能在提示词引导与模板化流程下完成侦察、脚本生成与漏洞利用尝试,增加“低成本试错”的频率。其二,攻击扩展性明显增强。模型擅长批量处理、总结与生成,使攻击者更容易在更大范围内进行目标筛选与自动化探测,扩大潜在受害面。其三,治理与取证难度上升。模型服务往往跨地域、跨平台,滥用行为可能通过“任务分解”“语义伪装”等方式绕过规则,给监测、审计、归因与合规处置带来更大挑战。其四,安全误判风险增加。模型可能生成“看似合理但实际错误”的输出,若攻击者不做核验,攻击效果可能受限;但对防守方而言,大量自动生成的探测与尝试仍可能带来噪声上升与资源挤占,推高防御成本。 (对策)针对大模型被用于网络攻击的风险,多方建议从技术、管理与协作三条线同步推进。第一,平台侧应强化滥用检测与分级响应能力,建立对异常任务链、可疑调用模式、批量扫描指令等行为的识别规则,并通过速率限制、行为关联分析、风险评分等手段及时阻断;同时加强对“任务分解式”规避的语义关联识别,避免只对单条指令做孤立判断。第二,完善审计与可追溯机制,在合规前提下提升日志留存、调用溯源与证据保全能力,为事后调查与跨平台协同提供依据。第三,企业与机构应提升基础防护水平,重点加固身份认证、最小权限、补丁管理、暴露面收敛与异常流量监测,降低被自动化侦察与漏洞利用命中的概率。第四,加强行业共享与国际协作,在不扩大对抗的前提下推进安全信息共享、漏洞处置协调与滥用样本交换,形成更快的联动响应。 (前景)可以预见,“人机协同”的攻击形态在短期内将更常见:模型更像高效率的“协调引擎”和“内容生产者”,在侦察、归纳、生成与编排上提升速度与规模,而关键渗透与隐蔽控制仍依赖人工经验与工具链整合。随着模型能力提升与安全对抗演进,防守方需要将重点从单点拦截转向“全链路治理”,既要提升模型平台的安全护栏,也要推动用模行为更规范、可审计。同时,公共讨论也应避免贴简单标签,区分技术能力、实际效果与证据透明度,避免在夸大或低估之间摇摆,影响真实的风险评估与资源投入。
技术本身是中性的,关键在于如何使用;此次事件再次提醒我们,在享受人工智能带来便利的同时,也要正视其被滥用的现实风险:加强技术安全防护,完善监管与治理机制,推动建立更负责任的研发与应用规范。只有这样,技术创新才能更好服务社会,而不是成为新的安全隐患。