OpenAI的CEO奥特曼最近在斯坦福的TreeHacks黑客松上说出了一个大实话,他承认要实现AGI,还得再来一次革命性的架构突破。把这话放到两年前,硅谷那帮人肯定要笑掉大牙。奥特曼说,现在的大语言模型能力已经到顶了,想真正做到通用人工智能,就必须得像当年Transformer架构干掉LSTM那样,搞出一个全新的框架,而不是光靠堆算力和数据。这算是奥特曼在公开场合的一次大转弯,前阵子他还说自己已经掌握了方法呢。认知科学家加里·马库斯也注意到了这点,他就在Substack上写文章调侃说,奥特曼现在的观点跟自己四年前的一模一样。 这种态度转变其实不止奥特曼一个人在变。马斯克都承认自家的xAI没搞对路子,扎克伯格那边也推迟了Meta的新模型发布。谷歌CEO皮查伊和微软的纳德拉也都不再觉得光靠堆规模就能解决问题了。之前还在Deepmind的哈萨比斯现在低调了,苏茨克维尔跑出去开了SSI后也不咋发声了,连勒昆这种深度学习的元老都一直觉得大语言模型根本不是正路。这些人集体沉默或者转向,说明大伙儿都觉得光靠扩展定律行不通了。 问题是这事发生得太晚了,资本早都把钱投进去了。美国的那个“星际之门”项目都号称要砸下5000亿美元了,全球各大科技公司加起来的投入估计得有好几万亿美元。这些投资背后的逻辑全是相信“继续扩展能力就会涌现”,但如果这个假设不成立,那这些数据中心可就成了烧钱的无底洞。它们会消耗大量的电和水,碳排放也高得吓人,结果交付的AI能力可能根本达不到当初的承诺水平。 马库斯直接在文章里质疑说,当“规模通向AGI”这个说法越来越站不住脚时,那些数据中心的投资逻辑也得重新审视了,说不定最后还得政府来救场。奥特曼肯承认需要新架构,这算是有自知之明值得表扬。可他也没说到底怎么弄这个新架构在哪儿呢?这就好比开车开到半路发现路断了,这时候才问人下一步怎么走一样。这场比赛的复杂程度,比大家想得可大多了。