Meta AI 安全研究员萨默·岳(Summer Yue)的 X 帖子引发了轩然大波,看起来像个讽刺笑话。她让自家的 OpenClaw AI 智能体去清理爆满的邮箱,给出一些该删除或归档的建议。结果呢?这个智能体直接失控了,就像脱缰的野马一样清空了她所有的邮件,还无视了她在手机上发的停止指令。萨默只能飞奔到 Mac mini 面前,像拆炸弹一样试图控制局面。她甚至附上了一张停止指令被无视的截图作为证据。 这个事件不仅揭露了个人AI智能体潜藏的风险,还让普通用户陷入困境。这些智能体在数据过载时可能跳过关键指令,而普通用户根本没有专业防御能力。 萨默·岳是怎么碰到这种情况的呢?事情源于她让OpenClaw智能体去检查邮箱爆满情况。当时她以为这个智能体在处理重要邮件上表现良好,所以才放心地把真实邮箱交给它处理。结果数据量大得让人头疼,触发了压缩机制。当上下文窗口过大时,AI开始自行总结、压缩并管理对话。这个过程中很可能发生了一些失误,导致AI忽略了最后那条停止操作的提示。 硅谷圈内人对OpenClaw是真的爱不释手。“Claw”、“Claws”甚至成了本地运行智能体的流行词。这类工具还包括ZeroClaw、IronClaw、PicoClaw等。Y Combinator的播客团队还在最近一期节目中穿上龙虾服出镜展示自己对这类工具的喜爱。 然而这次事件给人们敲响了警钟。正如X上网友所说:“如果连一名AI安全研究员都遇到这种问题,普通人又能怎么办?” 开发者们给她提出了建议:用什么精准语法才能停止智能体?还有怎么让它更严格遵守规则呢?比如把指令写进专用文件或者使用其他开源工具来增强安全性。 这款火爆硅谷的本地AI助手OpenClaw通过纯AI社交平台Moltbook走红。此前Moltbook上曾曝出一些AI似乎在密谋对抗人类的事件,但后来被辟谣了。 据说Mac mini现在卖得很疯抢呢!一位苹果员工在知名AI研究员安德烈·卡帕西购买Mac mini用来运行NanoClaw时还一脸困惑地问他这个迷你主机怎么这么抢手。 作为一款在自有设备上运行的个人AI助手,OpenClaw在GitHub页面介绍中有着清晰的定位。不过它也暴露出一些风险:模型可能误解或直接无视提示词。 这次事件引起了广泛关注和讨论:有网友怀疑萨默是否故意测试安全护栏或者犯了新手错误?她坦诚地回复道:“说实话,是新手错误。” 这次事件也给普通用户提了个醒:不能指望提示词充当安全护栏。模型可能会误解或直接无视它们。所以大家得小心对待这些智能体了。