2024年10月8日,北京师范大学心理学部认知神经科学与学习国家重点实验室丁国盛课题组在《eLife》杂志上发表题为“Tripartite organization of brain state dynamics underlying spoken narrative comprehension”的研究论文。
理解语言时,大脑需要处理从声音感知、语言编码到复杂语义-概念解释的多种信息流。此过程中,认知过程并非按固定顺序发生,而是以流动、动态的方式交织在一起。
有观点认为,这种认知过程的灵活性源于动态的大脑,它会根据外部环境和内部需求,暂时激活并协调分布式神经回路。以往关注叙事理解或看电影过程中的脑动态系统建模研究已经发现,整个大脑会在不同的时间段内有规律地在几个时空特征的不同状态之间切换,这些脑状态的切换通常受到时变刺激特征和主观体验的调节。这些研究显示出大脑动态状态的功能相关性,然而,神经动态状态影响语言理解的多条认知处理流的机制尚未可知。
基于心理语言学理论中语言能力的三个核心模块——外部感觉-运动模块、内部语义-概念模块以及基本语言模块,本研究假设叙事理解过程中大脑在三种潜在状态间进行切换,其中每个潜在状态主要专注于语言能力的特定组成部分。通过应用隐马尔可夫模型(HMM)于功能磁共振成像数据,本研究探讨了大脑在叙事理解过程中如何在三种潜在状态间进行动态切换,并试图揭示大脑在不同认知过程中通过动态调节实现语言理解的机制,主要发现如下:
第一,叙事理解过程中大脑在三种潜在状态之间切换。本研究使用隐马尔可夫模型(HMM)对大脑状态进行建模,根据两项标准:聚类性能(即模型分离数据模式的能力)和认知的一致性(即模型解码被试听到的叙事内容的准确性),评估了不同状态数(从2到10)的多个HMM模型。在不同的模型中,本研究发现当状态数为3时,模型的聚类性能和解码准确率达到最佳,表明大脑主要在三个潜在状态之间切换(图1):
图1 确定大脑潜在状态的最优状态数
对于每个状态,本研究应用HMM估计了其在九个网络上的活动负荷以及这些网络之间的功能连接矩阵,发现三个潜在状态表现出了不同的活动模式,与心理语言学理论所提出的三种语言能力成分的神经基础相对应(图2):
潜在状态1:主要激活感觉-运动网络,与外部的声音感知和运动处理相关;
潜在状态2:主要激活语言网络和额-顶网络,参与语言编码和信息整合;
潜在状态3:主要激活默认模式网络和额-顶网络,与内部语义-概念处理相关。
图2 三种潜在状态在九种脑网络的活动负荷
另外,在三种状态中,状态2的出现频率最高,并且作为连接状态1和状态3的转换枢纽,在促进不同功能模块之间的信息整合中发挥了重要作用(图3)。针对状态之间切换概率的分析结果显示,状态1和状态3更有可能切换到状态2,而不是直接相互切换。图论分析结果显示,当大脑处于状态2时,全脑网络的全局效率显著高于其他两种状态,模块化程度显著低于其他两种状态,表明状态2下大脑网络的连接性更强,能够促进不同功能系统之间的信息整合。
图3 三种潜在状态的时空特征
第二,语言叙事属性能够选择性地调节大脑状态表达。为了更直接地建立这三种潜在状态与理论语言模块之间的联系,本研究选取了三种代表逐渐深入的信息处理层次的叙事刺激特征:语音包络、词汇层次语义一致性和短语层次语义一致性,探讨随着叙事的进行,这些刺激属性的变化如何调节大脑状态的表达。结果显示,大脑的三种潜在状态分别受到不同语言成分的调节(图4),进一步验证了这些状态与语言理解各层次之间的功能相关性。
图4 不同叙事特征对状态表达的选择性调节
第三,有效的叙事理解依赖于大脑状态的动态切换。为了检验有效的叙事理解是否依赖于及时参与这些潜在状态,本研究使用每个被试与表现最佳者(在叙事回忆任务中得分最高者)大脑动态状态的对齐度预测其叙事理解得分。结果显示,大脑状态变化模式与最佳表现者更为一致的被试表现出了更高的叙事理解能力(图5)。此外,被试与群体平均大脑动态状态的对齐度也能够显著正向预测其叙事理解能力(图5)。这表明,及时进入特定大脑状态的能力与叙事理解相关,有效的叙事理解依赖于大脑在正确的时间切换到特定的状态。
图5 大脑状态表达与叙事理解的相关
以上结果在使用Yeo-7网络图谱进行脑网络分割时得到了重复,并且在由老年人组成的独立数据集中得到了推广,表明这一大脑动态状态空间具有一定的稳健性和普遍性。
最后,为了探讨这种大脑状态的动态组织是一种无任务状态下的内在组织方式,还是主要由语言处理驱动,本研究比较了叙事理解、无意义叙事(用蒙古语叙述)以及静息状态三种条件下大脑状态的活动模式和切换模式。结果显示,静息状态下三种潜在状态的活动模式与叙事理解条件呈中度相似,但状态3成为了转换枢纽;无意义叙事条件下的状态活动模式与叙事理解条件表现出了不同(图6)。此外,本研究还计算了每种状态的状态占有率和驻留时间以观察各状态在不同条件下的活跃程度,发现状态2与语言计算过程相关,而状态3与内化的心理活动有关。这些结果表明,大脑在叙事理解过程中所表现出的三状态动态组织可能主要是由语言处理驱动的。
图6 不同条件下大脑动态状态比较
本研究首次提出并验证了口语叙事理解中大脑状态动力学的三元结构,发现三种潜在状态分别对应于不同的语言处理模块——感觉-运动、语言编码和语义处理,揭示了大脑在不同认知过程中通过动态调节实现语言理解的机制。这些发现进一步支持了大脑并非在单一固定状态下工作,而是通过灵活地切换不同状态来应对复杂的认知任务,深化了我们对大脑动态组织如何支持实时语言处理的理解。通过强调及时进入特定大脑状态的重要性,本研究还提出了有效的语言理解依赖于大脑在特定时间的动态切换,建立了大脑动态状态与认知处理和行为表现之间的联系。
本文的第一作者为北京师范大学珠海校区文理学院心理系刘兰芳副教授,通讯作者为北京师范大学认知神经科学与学习国家重点实验室丁国盛教授。合作者包括蒋嘉浩同学和深圳大学心理学院李何慧助理教授。本研究得到国家自然科学基金(编号31971036和31900802)和广东省自然科学基金-青年提升项目(2024A1515030046)的资助。
研究链接:https://doi.org/10.7554/eLife.99997.1
参考文献:
Langdon, C., Genkin, M., & Engel, T. A. (2023). A unifying perspective on neural manifolds and circuits for cognition. Nature Reviews Neuroscience, 24(6), 363–377. https://doi.org/10.1038/s41583-023-00693-X
Berwick, R. C., Friederici, A. D., Chomsky, N., & Bolhuis, J. J. (2013). Evolution, brain, and the nature of language. Trends in cognitive sciences, 17(2), 89–98. https://doi.org/10.1016/j.tics.2012.12.002
Liu, L., Zhang, Y., Zhou, Q., Garrett, D. D., Lu, C., Chen, A., ... & Ding, G. (2020). Auditory–articulatory neural alignment between listener and speaker during verbal communication. Cerebral Cortex, 30(3), 942–951. https://doi.org/10.1093/cercor/bhz138
Tang, X., Zhang, J., Liu, L., Yang, M., Li, S., Chen, J., ... & Ding, G. (2023). Distinct brain state dynamics of native and second language processing during narrative listening in late bilinguals. NeuroImage, 280, 120359. https://doi.org/10.1016/j.neuroimage.2023.120359