人类大脑处理视觉信息的方式是认知科学和神经科学研究的核心主题之一。视觉系统不仅能够识别物体的基本形状与颜色,更重要的是,它能捕捉到物体间的复杂空间语义关系和环境交互,而这正是理解自然场景的关键。然而,长期以来,科学家们一直面临着如何用定量方法来解析和模拟这些高级视觉认知的难题。近期,随着人工智能领域大型语言模型(LLMs)的迅猛发展,一个激动人心的新发现浮现出来:高水平的视觉表征与LLMs的语义嵌入空间高度对齐,这为理解人类视觉系统的工作机制开启了全新视角。 人脑视觉系统经过多层级的神经计算,逐渐从视网膜获取的初级信息升级到对场景整体的抽象理解。以往的人工神经网络模型主要聚焦于视觉输入的物体识别,例如训练模型来分辨图像中的"猫"、"车"、"树"等。
然而,单纯的物体识别并不能完全刻画大脑对场景的理解。真实视觉场景包含更丰富的信息,如物体的语义关系、空间位置、互动动作等,传统视觉模型难以定量捕捉这类复杂信息。 大型语言模型则正好弥补了这一空白。经过海量文本数据训练,LLMs擅长编码语言中的上下文语义和世界知识,能够将一句完整的描述转化为具有丰富语义内容的嵌入向量。这些模型包括了如Transformer架构的MPNet等,在语义相似性衡量等多个自然语言理解任务中表现优异。引入LLM表征到视觉系统研究中,一个令人兴奋的突破出现了:将场景的人工文字描述输入到LLM,所得的向量嵌入与观测到的人脑视觉活动高度相关。
这种关联性的探索基于大规模7特斯拉功能性磁共振成像(fMRI)数据。研究团队利用自然场景数据集(Natural Scenes Dataset, NSD),采集了多位受试者观看数千张复杂自然环境图片时的大脑反应。同时,每张图片均配有多条人类书写的自然语言描述,确保了场景文本的多样性与准确性。通过将这些描述输入LLM,获取场景的高维语义向量,研究者应用多种分析技术,比如代表性相似性分析(RSA)和线性编码模型,验证LLM嵌入空间与脑活动之间的匹配程度。 结果表明,LLM的嵌入向量在大脑的高级视觉区域,如腹侧视觉流、侧视觉流及顶叶相关区域,能够准确预测大脑的视觉响应活动。甚至可以逆向从脑活动中解码出相应的场景描述,尽管这种映射仅基于对脑活动的线性回归,显示了LLMs在捕捉视觉语义内容上的强大能力。
更有趣的是,这种对齐不仅仅局限于单一物体类别,而是涵盖了物体之间的复杂交互和上下文关系,表明大脑视觉信息处理可能倾向于借助类似于自然语言处理的多维表征。 研究还深入探讨了LLMs为何能有效模拟大脑视觉表征的关键因素。通过对比不同模型或表征方式,发现使用整句话的LLM句子嵌入远优于仅基于单词、名词、动词或者类别标签的平均嵌入。这说明,整句的上下文整合与复杂语义融合,是实现与人脑高级视觉表征精准对齐的关键。即使是将句子词序打乱后的句子嵌入,也与大脑活动表现出较高的相关性,表明语言模型对词序的灵敏度较弱,更多依赖于捕捉句中各词的语义关系,尤其是在描述视觉场景时。 在人工神经网络的模型构建方面,基于LLM嵌入的训练目标,研究人员训练了具有递归卷积结构的神经网络(RCNN),使其直接从图像像素映射到LLM嵌入,从而模拟大脑视觉表征转化的过程。
这些模型不仅在预测脑活动方面超过了传统的仅基于图像分类的模型,还在数据效率上表现突出 - - 在用远少于传统模型规模的数据集进行训练的情况下达到了更好的对齐效果,彰显了以语言表达丰富语义信息为目标的训练策略的优势。 此外,这些经LLM训练的视觉模型能从其内部表征中准确恢复出作为训练目标的语义向量,同时也能较好地解码传统的物体类别信息,说明LLM提供的表征足够涵盖基本的物体分类,也扩展了更高层次的语义信息空间。这种发现呼应了认知神经科学中视觉认知的多层级、多维度的理解,体现在从感知到语义认知的递进式加工中。 这些研究成果的意义不仅局限于揭示视觉系统本身的工作机理。它们还为人工智能提供了灵感,呈现了一条朝向更接近大脑认知风格的视觉模型设计思路。以往视觉模型大多依赖大规模标注图像进行训练,仍难以完全复现大脑对复杂场景理解的能力。
这一发现则侧重利用语言模型的世界知识与语义整合能力,将视觉认知任务映射至语言表征空间,从而促使人工神经网络在认知一致性和数据效率方面实现突破。 在神经科学应用上,LLM表征提供了一种统一且具多维语义内涵的代表形式,有助于整合大量零散的视觉认知研究成果,包括物体共现、场景类别、空间语义和行为可能性等。未来研究可进一步细分以及解释脑区对不同语义内容的敏感维度,助力更细腻地绘制视觉语义地图。与此同时,用LLM辅助脑信号解码,尤其是在脑机接口、认知障碍诊断和神经康复领域展现广泛潜力。 不过,研究者们也强调LLM与人脑视觉表征的契合并非意味视觉表征具有完整的语言结构属性,例如句法和递归性等依赖语序的语言特征,对这方面的理解尚待深入。视觉信息的编码仍然保留大量视觉特征,而LLM的语义嵌入更偏重于内容和语境的表达,这是视觉和语言表征在认知融合上的重要分界与协作点。
此外,实验中受试者的任务性质也可能影响脑活动的特点。大多数数据是在被试进行持续识别任务时采集的,这可能促使他们在心中形成场景的语言表征,间接增强了脑活动与LLM嵌入的一致性。是否在其他任务环境下仍然保持这种契合,有待后续工作验证和扩展。 总的来说,随着人工智能与认知神经科学的交融加深,利用自然语言模型洞察视觉认知过程成为一个富有前景的研究方向。大型语言模型所拥有的丰富语义理解能力与人脑高级视觉表征的惊人契合,正逐步揭示语言与视觉认知之间更深层次的纽带,推动我们重新审视大脑如何整合和编码复杂世界的知识。未来,这一方向不仅有望加速揭开人类认知的奥秘,也将为构建更智能、更高效的人工视觉系统提供理论基础与实践路径。
。
