babyvision的多模态模型,能不能搞定视觉任务?

最近有个名叫BabyVision的多模态模型评测出来了,专门看模型能不能搞定视觉任务。研究人员发现,这些顶尖模型和小孩比起来,差距可不小。这套测试一共包含20项任务,比如分垃圾、看图像分类,都得纯靠眼睛做决定。结果挺让人惊讶的:大多数模型得分都比3岁小孩低不少,只有一款勉强超过了这个年龄段。可要是和6岁小孩比,还是差了大约20个百分点。比如分垃圾那个连线游戏,小孩一看就能做完,模型想半天推理反而出错。 大家都在琢磨为啥会这样。原来是现在的模型喜欢把看到的东西先变成文字再去想,其实还是在搞语言处理,不是真的理解画面。这就导致它在细节上看不见、没法跟踪连续动作、也没法想象三维空间。技术报告里讲得更细了:在辨别细微差别、追踪物体、感知空间还有识别模式这几方面,模型都很差劲。这说明它的视觉模块根本就没有跟人脑一样的底层逻辑。 这种情况会带来什么问题呢?直接影响到医疗看图、工业质检还有自动驾驶这些领域的可靠性。测完388道题发现成年人类平均答对94.1%,最好的模型也不到50%,开源的普遍还不到25%。这说明光靠堆数据或者扩大参数规模没用,得从根本上改变一下思路才行。 专家给出的建议也很实在:一是得和搞认知科学的人多交流,照着小孩长眼睛的规律来设计神经网络;二是得把评估标准弄得更细一点,别光看表面的任务完成情况;三是让硬件和软件一起创新,搞点专门处理视觉信号的芯片算法。 未来的路该怎么走?其实这次评测给我们指了一条明路。随着神经科学和计算机科学越来越深地融合在一起,以后肯定能做出那种有“视觉直觉”的新系统。短期内企业可能会从小孩身上找灵感搞技术迭代;长远来看能不能理解视觉成了判断人工智能是不是真正通用智能的一个大标准。 从看见一只猫到看懂动态变化的因果关系,视觉智能要做的事比现在深多了。这次评测就像照镜子一样:既反映出模型现在还很稚嫩,也把人类的认知有多精妙给照了出来。 想要技术更好点的话光靠算法和算力不够啊,还得好好琢磨一下“人是怎么理解世界的”这个本质问题。只有当机器真的学会“看见”而不是仅仅“解读”的时候,它才能成为帮我们拓展认知边疆的伙伴。