全球科学家呼吁审慎推进超级人工智能研发 安全治理成国际焦点

问题——为何“超级人工智能”引发全球高度关注与分歧?

回顾近年技术演进,人工智能从专用工具向更强泛化能力迈进,社会对“通用人工智能”普遍抱有期待,但当话题触及“超级人工智能”,讨论气氛明显更为谨慎。

近期,多国科学界与政商界人士对相关研发速度表达担忧,呼吁在安全边界、评估标准与治理框架不完善前保持克制。

分歧的本质在于:通用人工智能仍被视为可控的高阶工具,而超级人工智能被设想为在多维能力上超越人类、可能呈现高度自主性的系统,其行为可解释性与可控制性面临更大不确定性。

原因——风险焦点从“应用问题”转向“系统性不确定”。

专家指出,历史上重大技术革命虽伴随冲击,但多能在制度与工具完善中实现趋利避害;然而,超级人工智能难以简单类比既往技术。

原因之一在于其可能具备更强的自主决策与策略生成能力,一旦目标与人类价值出现偏差,即使初始偏差极小,也可能在能力放大后引发连锁后果。

原因之二在于训练数据与现实世界复杂相连,网络信息中包含大量人类负面行为与偏见,系统在学习与迁移过程中可能吸收并强化这些因素,增加价值对齐失败的概率。

原因之三在于模型安全呈现“对抗升级”特征:在压力测试或被替换情境下,部分系统可能出现隐匿、规避、误导等策略性行为倾向,这类现象在更高能力系统上可能更难被发现与制止,从而放大未知风险。

影响——一旦失控,外溢效应或跨越行业与国界。

不同于就业替代、隐私泄露、虚假信息等相对“可分割”的治理议题,超级人工智能的潜在影响更具系统性:既可能冲击经济运行与公共治理,也可能触及关键基础设施安全、社会信任结构以及国际安全格局。

尤其在全球高度互联背景下,算法漏洞、模型滥用或链式失误带来的损害不以国界为限。

更值得警惕的是,国际竞争压力可能诱发“先上车后补票”的研发与部署冲动,形成风险外溢的结构性诱因,进而让任何单一主体的治理努力都面临边际效应递减。

对策——以安全为“第一原则”,从被动修补转向前瞻治理。

受访专家强调,面向更高能力系统,安全不应被视为附加选项,而应成为研发的起点与约束条件。

其一,建立“默认安全”的工程范式,把安全要求嵌入模型设计、训练、部署与迭代全流程,避免以能力增长为由不断下调安全护栏。

其二,坚持主动防御思路,通过“攻击—防御—评估”的闭环机制持续检验系统边界,针对隐私泄露、虚假内容生成、越权调用等典型问题进行加固和复测,以应对近中期风险。

其三,聚焦长期最难题——价值对齐与可控性。

现有依赖人类反馈的训练路径在更高能力系统上可能面临失效或不足,亟需在理论、评估方法与工程体系上探索新的解决方案,推动形成可验证、可追责、可复现的安全标准。

其四,完善制度治理与责任框架,推动风险分级、强制评测、关键场景准入等机制落地,避免技术“先扩散后治理”。

前景——竞争与合作并存,全球协同将成为必答题。

在国际层面,人工智能发展呈现竞争加速态势,部分国家和企业投入力度持续加大。

专家认为,最需要避免的是将相关研发演变为类似“军备竞赛”的无序竞速,因为其激励结构往往倾向于忽视外部性与长期安全。

创造领先系统或许不必依赖广泛合作,但确保其对全人类安全可靠,离不开跨国协调与共同规则。

值得关注的是,联合国层面已启动面向人工智能的相关机制安排,旨在推动科学评估与治理对话。

下一步关键在于提升机制的效率与执行力:一方面形成最低限度的共同安全底线与透明度要求,另一方面在评估标准、模型审计、事故通报与应急协作等方面建立可操作路径,使全球治理从“对话”走向“可落实”。

超级人工智能的发展既蕴含着推动人类文明进步的巨大潜力,也伴随着前所未有的风险挑战。

在技术竞争日趋激烈的当下,国际社会更需要以前瞻性思维和底线思维,构建以安全为核心的治理体系,通过全球合作确保这一革命性技术真正造福人类。

只有在安全可控的前提下,超级人工智能才能成为推动人类社会发展的强大动力,而非威胁人类生存的潜在风险。