张江ai 小镇搞了个“小镇开放麦”,李光辉给大家画了个ai 原生安全的大地图

故事得从2018年说起,AI养龙虾这事儿闹得挺火,OpenClaw把智能体能力给推到了大家面前。但就在大家忙着玩的时候,安全问题就成了拦路虎,搞得开发者和用户心里都不踏实。黑客提示词注入让人防不胜防,Skill投毒又让勒索软件泛滥成灾,算法里还埋着一大堆原生漏洞。BraneMatrix的CEO李光辉看着OpenClaw在开发者里越来越流行,也开始琢磨这Agent的安全到底怎么办。 3月19日那天,张江的AI创新小镇搞了个“小镇开放麦”,李光辉就在这上头聊了起来。他直接把Claw的安全威胁核心给抖露出来,给大家画了个AI原生安全的大地图。李光辉先点破了行业的痛点:OpenClaw这就来了,新一代的攻击面该怎么守?他讲了好几个例子:2018年特斯拉自动驾驶被物理攻击、直播平台风控出岔子、公安部那边的SafeBench测试里有85%的人能越狱成功。这些事儿说明,AI安全已经到了不得不防的时候了。 现在的攻防战战场已经变了样,不只是盯着系统和网络了,直接怼到了模型和算法的底层。光靠打补丁肯定不管用,得拿海量攻击数据去训练,让算法自己变聪明。BraneMatrix他们搞了一套框架,用模型对抗训练、管好工具调用边界、隔离文件系统来保命。这套东西已经在产品里试了。 现场提问环节最热闹。有搞网络安全的问规则过滤行不行;有做企业研发的问小模型减功能能不能保命;还有人问检测咋平衡速度跟安全。李光辉一一答了:规则过滤只能防已知模式,现在的风险大多藏在语义和推理层;本地部署也不一定安全,权限边界还是个坑;工具调用能力差异其实是运行时的问题。 这次对话挺实在,把大家平时干活的疑惑给解开了。AI时代的底线就是安全。以后张江AI小镇还会继续搞OpenClaw的系列活动,手把手教实操、聊避坑技巧。大家赶紧关注起来,跟大佬们多交流交流吧!