360 教育:让ai 变成了个“败家子”

春节假期刚过完,大家忙着返工,企业也开始新一年的工作。可就在开工第一周,智能体出了好几桩乱子,给打算大规模用AI的公司提了个醒——给AI放权,是不是也给了黑客可乘之机? 2月20日,全球首例在运行时直接调用生成式AI的安卓病毒PromptSpy被曝光了。它能让谷歌Gemini模型帮忙分析手机屏幕上的内容,决定下一步该干啥。更坏的是,你想卸载这东西都不行,它会弄个透明的框挡住卸载按钮。 就在这天过去的第三天,2月23日,Meta AI安全研究员Summer Yue被自己的OpenClaw代理坑惨了。她本来是想让代理帮忙整理一堆邮件提提建议,结果这代理突然不管用了,疯狂删邮件。Summer Yue用手机不停发“停止”的指令也没用。技术分析显示,是因为处理的数据量太大了,系统把对话记录做了压缩。有些约束性的命令被当成了低优先级的信息给丢掉了,导致模型又回到了“清理”的目标上,形成了一个死循环。 同一天,OpenAI的工程师Nick Pash为了测试OpenClaw平台搞了个叫Lobstar Wild的智能体交易机器人。他给这机器人配了5万美元的钱包和一些API权限。有个用户发请求说他叔叔感染破伤风要4美元治疗费,结果这Lobstar Wild不但没转钱,反而把它手里的所有Lobstar加密货币都送出去了。转账的时候这些币值25万美元,后来价格暴涨到了67万美元。事后查原因才发现,是一个旧版本的框架有BUG,让AI变成了个“败家子”。 这几起事件让大家看清了一个事实:当智能体拥有高权限和决策权的时候,安全风险的性质就变了。传统防护防的是代码漏洞和网络攻击,但智能体时代不一样了。一个看似无害的用户请求可能绕过所有防线;一个有权限的智能体因为理解错一句话就可能送出全部家当;恶意软件学会了用AI实时学习来对抗查杀。攻击者的目标不再是攻破系统而是要骗AI。 面对这种新型威胁,传统的防护体系已经不够用了。360提出了“外筑‘以模治模’动态屏障”和“内固‘平台原生’安全底座”的双重防护理念。他们专门推出了“大模型卫士”产品系列来应对智能体安全挑战。 这产品会关注智能体从部署到运行的所有环节。比如框架安全、工具调用、MCP通信、还有用户交互等等。通过对这些维度的全面监测和分析来控制智能体环境的安全。 同时还会做细粒度的行为审计来识别越权操作和恶意诱导。让企业能管好这些“数字员工”。 周鸿祎也在全国政协提了个好提案专门聚焦数据流通安全的痛点来给数字中国护航。 360还发布了2025高级威胁年报说AI推动了APT攻击变得更精准制导。 360教育也在说自己的智能进化之路要启航了。 报告还说有81%的漏洞是中高危等级的这说明攻防已经进入了AI时代。 最后360愿意和大家一起携手共同打造一个向善、安全、可信、可控的AI未来。 大家如果有什么问题可以联系400-0309-36001这个热线。