北京师范大学认知神经科学与学习国家重点实验室牛海晶团队在《Artificial Intelligence Review》期刊（中科院 SCI TOP 期刊，五年影响因子 11.7）发表题为 “Reconstructing damaged fNIRS signals with a generative deep learning model” 的研究论文，为fNIRS脑成像数据高效使用提供重要策略。

功能性近红外光谱成像（fNIRS）作为一项新兴的非侵入性脑功能成像技术，具有便携性强，生态性好，头动鲁棒性高以及价格低廉等优势，在心理学、教育学、运动脑科学、临床医学以及脑机接口等领域得到广泛应用。然而，在实际使用过程中，fNIRS信号不可避免受到头动伪影、接触不良以及生理噪声等影响，导致部分脑区测量信号信噪比降低，甚至无法使用，造成数据的严重浪费。因此，探寻一种行之有效的方法来恢复受损 fNIRS 信号，提升fNIRS数据利用效率，对推动基于fNIRS技术的临床诊断和脑科学研究的深入发展，都将具有极为重大的意义。

牛海晶团队针对上述问题提出了一种基于生成深度学习的多尺度时间模型，旨在恢复受损fNIRS 信号质量。该模型巧妙地整合了多尺度卷积层、门控循环单元（GRU）以及线性回归分析等技术，有效捕捉 fNIRS 数据时间序列中的时空变化（如图 1 所示）。模型训练使用了健康老年人的静息态 fNIRS 数据集，并结合数据增强方法模拟受损通道信号，以此提高模型对缺失数据的重建能力。模型训练后，我们从两种不同视角对训练后模型进行评价：一是考察恢复通道与原始通道的相关性；二是考察恢复通道和其它原始通道之间功能连接模式保持效果。最后，研究还基于儿童受试和成年受试进一步验证该模型在不同人群以及不同探头排布方式上的泛化能力，确保模型具有更广泛应用效果。

图1： 多尺度时间模型总体框架

研究表明，提出的多尺度时间模型在恢复受损 fNIRS 信号方面表现卓越。在单通道受损时，模型重建的信号与原始信号平均相关系数达到 0.80±0.14（图2），且能有效保持功能连接矩阵的一致性（图3）。

图2： 单通道重建及相关性评价。A.测试集中5、24、35和42号通道的平均重建结果，实线和虚线分别表示重建和原始的时间序列。B.所有通道的相关性评价。

图 3：单通道重建的功能连接评估。A. 原始时间序列功能连接矩阵。B. 重建模型时间序列功能连接矩阵 C. 两个功能连接矩阵之间的相关性分析。

在多通道受损情况下，无论是空间上相邻还是非相邻的通道，模型均能保持较高的重建准确性和功能连接一致性，相关系数均超过 0.75（图4）。

图 4：A. 多通道重建示意图，模型同时重建通道 2、19、27、30 和 44 的时间序列。B和C：通道 2、19、27、30 和 44 的原始和模型重建时间序列的功能连接矩阵。D.两个功能连接矩阵之间相关性分析。E. 同时重建不同数量通道时模型性能的变化。

此外，模型在不同年龄段和通道配置的数据集上展现出良好的泛化能力（图5）。

图5：模型在成人（A）和儿童组（B）空间非相邻多通道受损情况下，当随机选择的 5 个通道被移除时，原始功能连接矩阵、重建功能连接矩阵及其相关性分析。

综上所述，该研究采用多尺度时间模型成功重建了受损 fNIRS 信号，重建信号与原始信号高度相关，并保留了功能连接应有模式。模型在恢复单通道、空间相邻多通道和空间非相邻多通道信号受损方面均表现出优越性能，且在不同年龄受试群体以及不同探头排布模式的数据集上展现出良好的泛化能力。该方法将为基于fNIRS成像的临床辅助诊断应用以及脑科学研究提供新颖的策略及有效的数据恢复方法，拓展了神经科学研究的工具和视角。

论文第一作者为北京师范大学已毕业硕士生郅应许，在读硕士生张百强和北京联合大学徐冰心老师。通讯作者为北京师范大学牛海晶老师。北京师范大学牛培淞，北京联合大学万飞也对此项工作做出了重要贡献。该研究得到了国家自然科学基金（81571755、81761148026、62006020）和北京市自然科学基金（4242020）的资助。

论文链接：https://link.springer.com/article/10.1007/s10462-024-11028-2