meta把tribev2 模型给开源了,这下大脑研究可是大变样

最近Meta把TRIBEv2模型给开源了,这下大脑研究可是大变样。Meta的FAIR团队这次推出来的TRIBEv2,不光让神经科学研究有了新路子,也让我们看人类大脑变得更清楚。这模型最大的本事是不用真拿仪器测,就能把大脑对看到、听到还有说的话怎么反应给猜出来。这种进步可厉害了,能打破以前神经科学实验耗时又费钱的麻烦。 TRIBEv2的道理挺简单,就是把视频、声音和文字这些不一样的信息都合在一起用。它用Video-JEPA-2这种东西处理视频,用Wav2Vec-Bert-2.0处理声音,再让Llama3.2这大家伙去读文字。最后它用Transformer这种结构把这些特征拢在一起,就能输出一张密密麻麻的大脑活动图,里面包含了7万个“体素”,非常精细。比起那些真的MRI扫描图来说,TRIBEv2给出的结果反而更清楚。 传统的功能性磁共振成像老是被心跳或者脑袋稍微一动的杂音给搅和了,TRIBEv2直接就把这些杂音给屏蔽掉了。实验证明它的准头比以前的线性模型好多了,甚至能在电脑上把很多经典的神经科学实验重现出来。 TRIBEv2最厉害的地方在于不光能预测得准,还能看出不同感官是怎么调动大脑不同部位的。比如光放音乐的时候,听觉皮层就会亮起来;要是同时放视频和音乐之类的多模态数据,那么大脑颞叶、顶叶和枕叶交界处的预测准度就能一下子提高50%。在看脸或者认地儿的时候,这个模型能准确指出对应的区域。 不过TRIBEv2也不是万能的。它只能用存在几秒延迟的血流数据来干活,没办法捕捉毫秒级那么快的神经活动。而且它也不考虑触觉和嗅觉这两种感觉。不过在研究语言的时候,它也很争气地复现了一些经典发现,比如说话和不说话、情感和身体疼有啥关系。 Meta这回把TRIBEv2的代码和权重全给开放了,以后主要就是看看它怎么帮规划实验、搭建类脑AI的架构还有帮医生诊断脑部疾病。随着科技往前走,TRIBEv2不光是个工具,更是帮我们重新认识自己的好帮手。相信它肯定会为脑科学研究打开新的大门,让我们对自己的了解更深一层。