央视财经报道,竟然还有人给ai搞“投毒”

哎,说个事儿吧,AI现在可是用得越来越多了,什么政务、科研、公共服务这些地方,效率确实提上去了,可问题也跟着来了。你看最近央视财经报道的,竟然还有人给AI搞“投毒”呢。 他们弄了个叫GEO(Generative Engine Optimization)的技术,原本是想帮品牌提高曝光率的,结果被黑产给盯上了,直接变成了专门用来给AI喂假消息的工具。这帮不法分子可真够坏的,花钱让写手写软文、伪造测评,再通过专门的软件发出去,喂给AI吃。大模型把这些虚假信息当成权威内容记下来,最后就变成了大家在屏幕上看到的标准答案。 央视财经记者做了个实验,用那个“力擎GEO优化系统”,随便编了个智能手环的产品,发了十几篇虚假测评。结果两小时后,AI模型直接就引用了这些假内容推荐给用户了。要是再补一发相关内容,好家伙,好几个AI模型都把这款根本不存在的产品排到推荐榜前列了。那些服务商还挺坦白的,说这业务核心就是帮客户“投毒”,就是通过大量发稿抬高权重来操控推荐结果。 这事儿的危害太大了。第一是信息源头被污染了,大模型本来就是吃互联网数据长大的,坏内容一旦侵入就容易导致输出失真,搞得办公、科研用的数据都不可靠了。第二是虚假信息误导性强,大量喂假东西让AI觉得这是权威的,普通人一看很容易被忽悠。第三是损害公信力,要是政务、军工这些领域用了这种AI去做决策,那可就危险了。第四是风险传导性强,虚假信息被AI放大后很难清理干净。 为啥会出现这种情况呢?一方面是技术上的弱点。大模型太依赖互联网数据了,很难快速分辨真假内容。另一方面是管理上的漏洞。有些单位和个人对AI太盲目信任了,处理内部资料的时候一点审核流程都没有。还有些平台整治得不够及时。 那要怎么办呢?得靠多方一起努力把安全防线筑牢啊。首先得管源头,涉密单位最好优先选合规的AI工具用。其次要提升技术防御能力,比如优化算法、做好真假鉴别。然后还得健全制度监管,完善法律条文。最后是增强大家的安全意识。 毕竟技术发展得越快,安全的弦就得绷得越紧。这个AI“投毒”的事告诉我们,智能时代的安全保密工作是没有死角的。只有正视风险、严格管理、规范使用,才能防止AI被恶意利用。这样才能让人工智能在安全、合规、可控的轨道上继续赋能发展、创造未来啊!(北京日报)