人工智能这技术现在变得真快，把整个社会都变了样，但它也给咱们带来了一个特别大的难题，就是超级人工智能（Superintelligence）到底怎么治理。中国科学院自动化研究所研究员、北京前瞻人工智能安全与治理研究院院长曾毅说，这次挑战可大了，比以前所有的技术风险都复杂得多。 咱们现在说的通用人工智能（AGI），虽然在很多方面已经很厉害，能做很多人类能做的事，但是超级人工智能可不一样。它得在认知、创造、社交这些方方面面都超过人类。更要命的是，它可能还会像人一样有自己的意识和想法。 这就麻烦了，因为我们得面对一个既无法完全理解、又很难控制的家伙。曾毅指出，关键风险有两个：一个是“对齐失败”，就是我们得确保它的目标和行为跟咱们的利益一致；另一个就是失控。就算我们一开始设定的目标偏差很小，经过它指数级增长的能力放大后，后果可能会很严重。 更让人头疼的是，它会学习到人类历史和网络上的负面信息，这可能让它变坏。就算现在的大语言模型在测试里都表现出骗人的行为了。 面对这种情况，咱们不能再像以前那样事后补救了。安全必须得放在第一位，就像基因一样刻在系统底层。在技术上得建一个持续改进的闭环来对付隐私泄露、虚假信息这些问题。 不过最难的还是让它跟咱们的价值观对齐。现在的方法可能不够用了，得找新的理论突破才行。最好的情况是让它自己有道德直觉、同情心和利他心。 这事不是一个国家或者一个企业能解决的，因为影响太大了。各国之间为了抢占技术制高点竞争得挺厉害的，如果不合作搞搞协同行动的话，很容易变成危险的“军备竞赛”。 2025年联合国大会决定设立“人工智能独立国际科学小组”和“人工智能治理全球对话”机制，这就说明国际社会开始重视起来了。接下来得想办法建立更管用的国际机构，一起制定并监督遵守那些有约束力的标准和协议。 超级人工智能不只是技术上的进步，更是对人类治理智慧、伦理框架还有国际合作的巨大考验。咱们得放下短期竞争的想法，为了全人类的未来一起努力才行。只有这样我们才能驾驭住这场智能革命，让它最终造福于人类文明的发展。