2024年4月24日，北京师范大学认知神经科学与学习国家重点实验室卢春明课题组在心理学实证研究的旗舰期刊Psychological Science发表研究论文“How the Listener’s Attention Dynamically Switches Between Different Speakers During a Natural Conversation”，融合大语言模型、机器学习和近红外光谱成像技术，揭示了鸡尾酒会情境下注意动态切换的认知神经机制。
图1 鸡尾酒会场景示例（出自电影《蒂凡尼的早餐》）
众所周知，我们生活在一个充斥着各种声音的嘈杂世界之中。例如，当我们身处诸如车站、食堂、酒会等场景，身边经常会有很多人同时说话。从繁杂的语音中筛选出相关语音进行深层加工，同时屏蔽掉其他语音，是我们经常要面对的挑战。然而，人脑不仅可以轻松应对这一挑战，而且还能在多个目标之间进行自由动态切换。传统注意理论仅解释了静态的选择性注意分配，但是在动态注意切换方面仍然存在空白。那么，人脑是如何实现这一看似轻松实际却异常复杂的认知过程的呢？
信息筛选和定向选择是当今时代最为重要的能力之一。在不考虑经济成本和时间成本的前提下，计算机可以无限拓展，用大海捞针的方式解决信息筛选问题。但是，由于人脑的认知资源有限，因此必须采用不同于计算机的方式，即通过选择性注意，对不同的信息赋予不同的认知权重，从而实现筛选和定向。恰如美国心理学之父威廉·詹姆斯（William James）100多年前 (James, 1890)所说，“注意就是指大脑以清晰生动的形式，从看似同时可能出现的几个对象或思路中抽取出一个的过程，意识的聚焦和集中是其本质。” 然而，以往的注意理论主要聚焦在固定对象的稳定注意情境下，因而无法解释为何人脑能够在不同注意对象之间进行有效的动态切换。
为此，我们采用了一种新颖的自然情境互动范式。在一个自然的三人对话场景下，我们要求听者面对两名同时对其讲话的说者，自由选择和切换注意的对象，从而避免了以往研究通过线索指定注意对象、无法考察动态注意切换的弊端，因而更加符合注意的自主选择这一关键属性。在对话过程中，我们同时采集了视频、音频以及近红外光谱成像等多模态数据。
图2 自然情境下的互动研究范式。
结合机器学习技术和脑间神经活动同步（简称脑间同步）分析技术，我们发现基于听者与说者之间的脑间同步水平，能够有效切分听者的注意状态，即在某一时刻，听者的注意对象是哪一位说者。特别是，当听者将注意从当前注意对象转移到另一位之前忽略的说者时，听者与先前注意对象的脑间同步会被显著抑制，而与之前忽略的说者之间的大脑活动同步却得到显著增强。然而，在听者没有切换注意的稳定注意状态下，听者与两位说者的脑间同步水平并没有显著差异。
图 3 注意切换发生时，听者与注意对象以及非注意对象之间的脑间同步动态变化。
进一步结合大语言模型和声学分析技术，我们考察了听者注意切换和脑间同步改变的认知机制。结果发现，上述切换并不是说者的音高、音调和音质等声学特征改变导致的，而是由说者的前后言语在语义上的关联度下降导致的。说者产出的句子前后语义关联度下降是导致听者的注意切换到其他目标的主要原因，并且与听者和说者的脑间同步改变有显著相关。
图4 听者的注意切换与说者的声学特征无关，受到语义连贯性有关。
这些发现支持了注意的衰减模型(Treisman, 1964)而不是过滤器模型(Broadbent, 1958)，表明在鸡尾酒会情境下，多个说者产出的语音和句子语义都得到了一定程度的加工，但是只有当某个目标被注意选择的时候，句子水平以上的语境信息（如交流意图和言外之意等）才会得到加工。可见，对于说者而言，保持主题的连贯性，不偏题才能更好的吸引听者的注意。
这一发现进一步拓展了本课题组之前的一项工作（Dai et al., 2018, Nature Communications）。在前面的工作中，我们要求倾听者选择一个人注意倾听，同时忽略另一个人。在这种稳定的选择性注意状态下，我们揭示了听者与其所选择的注意对象之间在颞顶联合区的选择性脑间同步。本研究则从静态的选择性注意分配拓展到动态的选择性注意切换，填补了研究空白，表明当非注意对象有可能成为潜在的注意对象时，听者可能采取了与稳定注意状态下不同的注意策略，从而更加有效的调动认知资源，实现灵活切换。这也突显了人脑在适应复杂环境方面的灵活性和高效性，以及采用高生态效度自然情境实验范式的必要性。
本研究的第一作者是卢春明教授实验室的已毕业硕士生代博涵和在读博士生翟昱，博后龙宇航也做出了重要贡献，卢春明教授为通讯作者。研究得到了国家自然科学基金62293550，62293551和61977008等项目的资助。
论文网址：https://doi.org/10.1177/09567976241243367
2018年研究介绍: https://mp.weixin.qq.com/s/js3T6dwSp0MQ7Xo0YX1bTQ
联系方式：代博涵hanhandai@gmail.com，卢春明luchunming@bnu.edu.cn;
卢春明课题组网站：http://sc.bnu.edu.cn/
参考文献：
Dai, B., Chen, C., Long, Y., Zheng, L., Zhao, H., Bai, X., ... & Lu, C. (2018). Neural mechanisms for selectively tuning in to the target speaker in a naturalistic noisy situation. Nature communications, 9(1), 2405.
James, W. (1890) The Principles of Psychology, Vol. 1. Henry Holt & Co.
Dai, B., Zhai, Y., Long, Y., & Lu, C. (2024). How the Listener’s Attention Dynamically Switches Between Different Speakers During a Natural Conversation. Psychological Science, 09567976241243367.
Broadbent D. E. (1958). Perception and communication. Pergamon Press.
Treisman A. M. (1964). Selective attention in man. British Medical Bulletin, 20(1), 12–16.
