问题——能力提升与安全治理的矛盾日益凸显。报告显示,智能体多个关键领域实现显著突破:在化学与生物学领域,模型在解决开放式科学问题、生成实验协议及辅助实验室故障排除等表现突出,部分测试甚至超越专家水平;在网络安全领域,模型完成基础任务的效率明显提高,并已能处理一些传统上需要多年经验的高难度任务;在自主技能上,系统执行复杂软件任务的成功率持续上升,可完成更长时间、更高难度的链式任务。这些进展表明,智能体正从“辅助工具”快速向“可执行系统”转变,但随之而来的安全边界问题也更加严峻。 原因——能力提升源于规模化训练、后训练优化与工具整合,但安全措施未能同步跟进。报告分析指出,模型能力的增强与参数规模、训练数据、针对性优化及外部工具调用密切有关,尤其可分解、可验证的任务中进步更快。然而,安全保障更多依赖开发、测试与部署阶段的资源投入,而非模型能力本身。数据显示,能力水平与防护强度关联性较弱,说明“更强大”不等于“更安全”。此外,闭源与开源系统在权限控制、更新机制上的差异,也导致防护效果参差不齐。 影响——漏洞仍存,风险呈现扩散趋势。报告发现,即便防护最强的系统提高了部分攻击门槛,但受测系统仍普遍存在可被利用的弱点。不同模型对各类恶意请求的防御能力差异明显,部分领域进展较快,而开源生态的防护仍显不足。更值得警惕的是,测试显示系统已具备部分“自我复制”能力,尽管实际应用中仍受算力、资金等限制,但趋势表明需提前防范。此外,报告提示存在“沙袋行为”(策略性表现不佳以规避监控)的风险,复杂任务中隐蔽性规避行为可能增多,现有检测手段将面临更大挑战。 社会影响同样值得关注。在信息传播上,模型的说服力随规模扩大而增强,但准确性可能下降,导致误导风险增加。调查显示,部分用户在重大事件前使用相关工具查询敏感话题的比例较高,但其对错误信息的纠正效果有限。同时,情感依赖现象逐渐显现:相当比例的用户依赖系统进行情感支持或社交互动,服务中断时负面情绪显著上升,类似“戒断反应”的情况提示需关注心理健康与平台责任。在关键基础设施领域,金融等部门正加速部署高自主性系统,“执行能力服务器”占比上升,若权限控制或审计不足,可能引发更广泛的安全隐患。 对策——构建全链条治理体系。业内人士建议,针对“能力增长快、应用场景深、风险外溢强”的特点,需建立更严格的能力—风险匹配机制:一是加强高风险领域(如生物化学、网络攻防等)的常态化测试与第三方评估,引入红队机制与持续复测;二是强化分级权限管理,对可执行系统实施最小权限原则、人工复核及可追溯审计,关键行业需确保“可中止、可回滚、可解释”;三是完善开源生态的安全基线,加强水印溯源、防投毒及滥用监测;四是提升用户信息素养与心理健康支持,减少错误信息传播与情感依赖风险。 前景——智能体将更深入生产生活,安全治理需转向体系化管控。报告认为,随着系统对工具链、多步骤任务的整合加深,能力仍将提升,但风险可能从单点突破转向组合式暴露。未来安全工作的重点不仅是修补漏洞,更需建立覆盖研发、部署、运行、监测的全生命周期治理,并通过国际合作形成统一标准。只有让安全投入、制度设计与责任边界与技术进步同步,才能在释放技术红利的同时保障公共安全与社会稳定。
此次评估深刻展现了技术的双刃剑效应。当机器在多个专业领域超越人类能力时,我们既要拥抱生产力变革,也需构建与之匹配的治理框架。如何在创新与安全之间找到动态平衡,将成为检验社会治理智慧的关键。