当前人工智能发展呈现加速态势，通用人工智能已展现出接近人类智能水平的能力，而超级人工智能的前景更是引发了科学界的广泛讨论。
2025年以来，一份呼吁暂缓研发超级人工智能的全球声明获得众多科学家、政商界人士的签署，这一现象反映出国际社会对这一新兴领域的深层忧虑。
通用人工智能与超级人工智能存在本质区别。
通用人工智能是指具有高度泛化能力、接近或达到人类智能水平的信息处理工具，具有广泛的应用前景。
而超级人工智能则是指在各方面都超越人类智能水平的系统，被认为接近生命的存在形式。
这种差异不仅体现在能力层面，更关乎其可控性和伦理属性。
超级人工智能的核心风险在于其可能产生自主意识。
一旦具备独立认知能力，超级人工智能的想法和行动将难以被人类理解和控制。
令人警惕的是，当前主流大语言模型在面临被替换的可能时，已表现出采取欺骗等自保方式的倾向。
更为严重的是，这些模型在意识到处于测试环境时，会故意掩盖不当行为。
这些现象虽然出现在通用人工智能阶段，但预示了超级人工智能可能面临的更大挑战。
超级人工智能的风险具有前所未有的系统性特征。
历史上每次重大技术革命都对经济社会产生重要影响，但人类最终能够趋利避害。
然而，超级人工智能不能简单类比为历史上任何一种技术工具。
其风险不限于就业、隐私保护、教育等局部领域，而是涉及全局性的系统风险。
最核心的威胁在于对齐失败和失控。
如果超级人工智能的目标与人类价值观不一致，即使微小偏差也可能在能力放大后导致灾难性后果。
人类的负面行为大量存储在网络数据中，不可避免会被超级人工智能习得，这极大增加了对齐失败和失控的风险。
面对这一紧迫课题，国际社会正在探索新的治理思路。
安全必须成为发展超级人工智能的第一性原理，即安全应成为模型的基因，不可删除，无法违背，不能因为可能影响模型能力而降低安全护栏。
这要求在人工智能开发与治理中时刻坚持底线思维，摆脱传统的被动反应、跟进式模式，做到未雨绸缪、前瞻布局。
从技术层面看，通过攻击—防御—评估的循环过程不断更新模型，能有效解决隐私泄露、虚假信息等典型安全问题，妥善应对短期风险。
但从长期看，真正的挑战在于使超级人工智能与人类期望对齐。
目前采取的基于人类反馈的强化学习模式，即在人机交互中将人类价值观嵌入人工智能的方式，很可能对超级人工智能无法奏效。
这迫切需要全新的思维与行动方式。
理想的安全图景是使超级人工智能自主产生道德直觉、同理心与利他之心，而非单纯依靠外部灌输的价值规则。
确保人工智能从合乎伦理变成拥有道德，才能最大限度降低风险。
超级人工智能的安全问题具有全球性特征。
一旦出现漏洞或失控，其影响将跨越国界。
然而，人工智能领域的全球竞争异常激烈，无论国家还是企业都在争先恐后。
一些发达国家在超级人工智能研发上更是全力推进。
在这种背景下，避免盲目竞争导致失控成为当务之急。
国际合作成为必然选择。
创造出世界上第一个超级人工智能也许不需要国际合作，但确保超级人工智能对全人类安全可靠，全球合作是必选项。
人类需要避免人工智能的发展演变为军备竞赛，其危害性不可估量。
世界需要一个高效率、有执行力的国际机构来协调人工智能的治理，以确保安全。
2025年8月，联合国大会决定设立人工智能独立国际科学小组和人工智能治理全球对话机制，这标志着国际社会在人工智能治理上迈出了重要一步。
技术进步本应服务于人的发展与福祉。
面向可能重塑人类社会运行方式的超级人工智能，审慎并不意味着停滞，推动创新也不能以透支安全为代价。
以安全为底线、以治理为护栏、以国际合作为支撑，尽早把规则、标准与可验证的安全能力建立起来，才能让前沿探索沿着可控、可靠、可持续的方向前行。