多模态生理信号如何让大脑的工作量被"看见"
核心内容:本文围绕“多模态生理信号如何让大脑的工作量被"看见"”展开,属于中科心研科研动态中的科研原理类内容,以公开文献与实验方法为依据整理,供人因工程与心理学领域科研参考。文中观点以引用的公开发表研究为准,相关设备与方法仅用于科研测量与教学,不用于诊断、治疗或筛查。
多模态生理融合感知
——搭建认知负荷可视新范式
工作与学习中的脑力过载、效率低下等问题,均源于认知负荷失衡。传统主观量表评估方式存在感知偏差、无法实时量化脑力消耗等缺陷。脑电、心率、眼动、皮肤电等生理信号可客观映射大脑工作状态。多项研究证实,多模态传感融合优于单一信号监测,能够精准捕捉动态认知负荷变化,依托专业实验平台可实现脑力负荷可视化量化,有效支撑人机交互优化、训练测评、教学优化等多元应用场景。
一、认知负荷评估机理与传统测评技术短板
二、文献分享:从单模态研判到多维融合验证
📄 所有能测的信号,到底谁的评估效果更优?
.Das Chakladar, D., & Roy, P. P. (2024). Cognitive Neurodynamics, 18, 1445–1465.
📄 六种信号同步采集,对比不同模态的评估效能
Mark, J. A., Curtin, A., Kraft, A. E., Ziegler, M. D., & Ayaz, H. (2024). Frontiers in Neuroergonomics, 5, 1345507.
2024年发表于《Frontiers in Neuroergonomics》的实证研究,联合高校与企业团队开展纵向实验,招募23名被试,设置六种不同维度的认知任务并区分难易双梯度,同步采集fNIRS、EEG、ECG、PPG、眼电、眼动六种生物医学信号进行横向对比分析。
📄 159 个人同时测,大样本验证多模态融合
Zhao, Q., Yang, J., Wang, Q., Zhu, R., Guo, L., Zhou, Q., Wu, P., Shen, L. (2025). AHFE Open Access, vol 173. https://doi.org/10.54941/ahfe1006285
2024年发表于AHFE国际会议的工程化研究,针对当前认知负荷研究样本量小、结论稳健性不足的问题,招募159名健康被试开展大样本实验,采用0-back至3-back梯度n-back任务诱发分级认知负荷,同步采集EEG、HRV、EDA三类核心生理信号构建标准化数据集。
核心发现:统计分析结果证实,随着任务难度提升,被试EEGalpha、theta波段功率与HRV低频指标均呈显著递增规律,验证了多模态信号对认知负荷变化的高敏感性,且通过回归量化得出EEG特征贡献权重最高(β=0.57),是负荷评估的核心依据。依托超大样本量,该研究极大提升了实验结论的统计可信度,且区别于纯理论研究,其核心目标是搭建可落地的多模态传感融合评估框架。
意义:该成果有效填补了大样本实证空白,实现了从实验室机理验证到工程化系统搭建的关键突破,为高精度认知负荷评估系统的实际部署奠定基础。
📄 MATB-II —— 航空级认知负荷评估的标杆范式
Bhatti, A., et al., (2025). IEEE Transactions on Cognitive and Developmental Systems. https://doi.org/10.1109/TCDS.2025.3555517
2025年发表于IEEE顶刊《Transactions on Cognitive and Developmental Systems》的研究,突破传统单一认知任务的实验局限,基于NASA开发的MATB-II多任务范式模拟航空等复杂实景作业场景,招募24名被试完成多轮梯度难度实验,同步采集EEG、ECG、EDA、眼动四类模态数据,并通过10秒高频自我标注构建真实标签,打造CLARE实时认知负荷数据集。
核心发现:模型测试结果显示,模态组合无通用最优解,十折交叉验证中外周生理+眼动组合性能最优,而更贴合泛化测试的留一被试验证中,脑电信号不可或缺。
意义:该研究构建了“复杂多任务范式+多模态数据+实时精准标注”的完整评估体系,公开的基准数据集与模型测试结果,为复杂真实场景下的实时认知负荷评估提供了标杆范式,有效推动了相关技术从实验室研究走向工业、航空等实际应用场景。
三、从研究到落地:中科心研的认知负荷实验平台
🧠 认知负荷诱发与多模态数据分析实验平台
平台的核心能力可以概括为三个词:预置范式、多模态同步、自动分析。
预置认知任务范式
多模态数据同步采集
自动化特征分析
🎯 典型应用场景
场景一:航空/军事人员认知负荷评估 → 平台预置MATB范式 → 被试执行多任务 → 同步采集EEG+HRV+眼动 → 自动提取特征 → 分析不同难度下的认知负荷变化模式 → 用于人员选拔或训练优化
场景二:人机交互认知负荷评测 → 设计不同版本的界面 → 平台预置 MATB 多任务范式 → 设置不同认知负荷梯度 → 被试完成多任务操作 → 同步采集生理与主观数据 → 分析认知负荷对人机交互行为的影响 → 为人机系统优化提供支撑
场景三:技能习得与认知负荷交互研究 → 平台预置MATB范式 → 设置不同任务难度梯度 → 被试参与学习训练并完成任务 → 同步采集多维生理数据 → 分析学习效应与任务需求的交互作用 → 验证生理指标敏感性、支撑认知负荷研究
参考文献
Das Chakladar, D., & Roy, P. P. (2024). Cognitive workload estimation using physiological measures: a review. Cognitive Neurodynamics, 18, 1445–1465. https://doi.org/10.1007/s11571-023-10051-3 Mark, J. A., Curtin, A., Kraft, A. E., Ziegler, M. D., & Ayaz, H. (2024). Mental workload assessment by monitoring brain, heart, and eye with six biomedical modalities during six cognitive tasks. Frontiers in Neuroergonomics, 5, 1345507. https://doi.org/10.3389/fnrgo.2024.1345507 Zhao, Q., Yang, J., Wang, Q., Zhu, R., Guo, L., Zhou, Q., Wu, P., & Shen, L. (2024). Engineering a Cognitive Load Assessment System Through Multimodal Sensor Fusion. AHFE Open Access. https://doi.org/10.54941/ahfe1006285 Bhatti, A., Angkan, P., Behinaein, B., Mahmud, Z., Rodenburg, D., Braund, H., Mclellan, P. J., Ruberto, A., Harrison, G., Wilson, D., Howes, D., Etemad, A., & Hungler, P. (2025). CLARE: Cognitive Load Assessment in REaltime with Multimodal Data. IEEE Transactions on Cognitive and Developmental Systems. https://doi.org/10.1109/TCDS.2025.3555517
