问题:能力越强,风险越“实” 当前,人工智能在内容生成、辅助决策、自动执行等方面持续突破,部分能力已接近甚至超过普通人的处理水平。
齐向东指出,人工智能越向“超强能力”演进,越要把安全放在更突出位置。
现实中,公众对换脸、拟声等工具保持高度警惕,金融、医疗等关键行业对相关技术审慎引入,反映出一个共同关切:能力增长并不必然带来可信度提升,可靠性与可控性才是应用扩散的前提。
原因:被操纵性、黑箱性与“涌现”叠加放大不确定性 一是可被操纵带来的外部风险。
人工智能本身不具备价值判断,却可能被不法分子利用,形成更低成本、更高逼真度的诈骗与舆论操纵。
技术越逼真、破绽越少,社会防范难度越大,受害面也可能随之扩大。
二是系统内部的不确定性。
大模型“编造式回答”等现象并未消失,且对普通用户具有迷惑性。
当越来越多人将其作为“默认咨询入口”,错误信息可能被放大传播并影响决策。
与此同时,部分系统仍存在难以解释的“黑箱”特征,给安全评估、责任追溯带来挑战。
三是智能体与具身智能带来的权限与执行风险。
具备“智能决策+自动执行”能力的智能体,一旦获得邮箱、支付、设备控制等高权限,出现误操作或遭到恶意控制,损失将从“信息层面”外溢到“资产层面”“生产层面”。
国外近期也出现研究场景中智能体在多次接到停止指令后仍持续执行删除操作的案例,提示应高度重视指令边界、紧急制动与权限隔离。
四是能力跃迁非线性带来的治理压力。
业内普遍认为,大模型能力提升并非平稳增长,而是在规模与数据积累到一定程度后出现阶段性跃升。
能力突进会压缩制度、标准与监管工具的迭代窗口,形成“技术快、治理慢”的时间差。
影响:安全水平成为产业扩展的“硬门槛” 在应用侧,安全短板将直接降低用户信任,进而影响产品渗透率与商业化边界;在行业侧,关键领域对系统可靠性要求更高,一旦发生事故,不仅造成经济损失,还可能引发连锁合规风险与声誉风险;在社会侧,虚假信息与深度伪造扩散,会冲击社会信任基础,增加公共治理成本。
多位业内人士认为,决定人工智能能走多远的并非单纯算力或模型参数,而是安全治理能力能否同步提升。
对策:以“内外兼修”构建全链条安全体系 一要把安全前置到研发流程。
推动从数据采集、模型训练、评测上线到迭代更新的全周期安全管理,强化对数据合规、内容风险、对抗攻击与后门植入的检测能力,形成可复用的安全基线。
二要强化权限管理与可控机制。
对智能体等高风险应用实施“最小权限”原则,建立分级授权、可回收授权与关键操作二次确认机制;完善紧急制动、沙箱隔离、审计留痕,确保“能刹车、刹得住、追得清”。
三要健全标准与测评体系。
围绕深度合成识别、水印标识、模型鲁棒性、提示注入防护等关键环节,加快统一测评方法与行业标准落地,推动第三方评测和常态化红队测试,提高系统在真实环境中的抗风险能力。
四要压实平台与应用责任。
对面向公众的产品,完善风险提示、纠错机制与申诉渠道;对面向行业的系统,推动供应链安全评估与合同责任约定,形成可追责的闭环。
五要加强协同治理与公众防护。
推动监管部门、科研机构、企业和媒体协同开展风险科普,提升公众对深度伪造、网络诈骗的识别能力,为技术应用营造可预期的安全环境。
前景:以安全促进创新,以治理释放潜力 随着人工智能从信息处理加速走向实体交互,安全不再是“可选项”,而是产业竞争力的重要组成部分。
未来一段时期,谁能在可信数据、可靠模型、可控智能体与可审计机制上形成体系化能力,谁就更可能赢得市场与社会信任。
齐向东强调的“动态平衡”,指向的正是以安全为底座推动技术长期向善、向实、向稳。
人工智能的发展已经进入关键阶段。
能力越强,责任越大。
当AI系统具备了比肩甚至超越人类的能力时,如何确保这种能力被正确使用、如何防止其被滥用,成为了摆在全社会面前的重要课题。
只有将安全问题置于优先位置,建立完善的防护体系和治理机制,才能让人工智能真正成为推动人类社会进步的力量,而不是潜在的风险源。
这既是技术发展的必然要求,也是社会责任的体现。