多模态生理信号如何让大脑的工作量被"看见"

科研原理发布时间 2026-05-29

核心内容:本文围绕“多模态生理信号如何让大脑的工作量被"看见"”展开,属于中科心研科研动态中的科研原理类内容,以公开文献与实验方法为依据整理,供人因工程与心理学领域科研参考。文中观点以引用的公开发表研究为准,相关设备与方法仅用于科研测量与教学,不用于诊断、治疗或筛查。

多模态生理信号如何让大脑的工作量被

多模态生理融合感知 

——搭建认知负荷可视新范式

工作与学习中的脑力过载、效率低下等问题,均源于认知负荷失衡。传统主观量表评估方式存在感知偏差、无法实时量化脑力消耗等缺陷。脑电、心率、眼动、皮肤电等生理信号可客观映射大脑工作状态。多项研究证实,多模态传感融合优于单一信号监测,能够精准捕捉动态认知负荷变化,依托专业实验平台可实现脑力负荷可视化量化,有效支撑人机交互优化、训练测评、教学优化等多元应用场景。

一、认知负荷评估机理与传统测评技术短板

你有没有过这样的体验 —— 明明在工位上坐了一整天,处理了大量任务,下班时却说不清自己到底做了什么有价值的事?又或者,面对一份看似简单的材料,读了三遍依然一头雾水?
这两种状态的差异,心理学有一个精确的概念来描述:认知负荷(cognitive load)。它指的是工作记忆在某一时刻所承受的信息处理总量。认知负荷过低,意味着资源浪费和效率低下;认知负荷过高,则会导致信息加工瓶颈、决策失误,甚至彻底崩溃。找到那个 "刚刚好" 的区间 —— 既不闲着也不过载 —— 是高效学习和工作的核心。
问题在于,认知负荷是完全主观且内在的。你无法通过观察一个人的外在行为,准确判断他此刻的认知负荷到底处于什么水平。一个安静坐着的人可能正在高强度思考,一个在键盘上飞速敲击的人可能只是在机械重复。传统的评估方法 —— 自我报告量表(如 NASA-TLX)—— 虽然经典,但存在根本缺陷:它只能事后填写,无法实时追踪,而且人对自身心理状态的感知本身就充满偏差。
那怎么办?如果认知负荷看不见、摸不着,又不能光靠人自己说,还有什么办法?
答案是:去读身体的信号。 当你的大脑在高速运转时,你的心跳、你的脑电波、你的瞳孔、你的皮肤电导率都在发生微妙的、可测量的变化。这些变化发生在你意识到自己 "累了" 之前 —— 它们是认知负荷的生理指纹。
过去十年里,研究者们尝试了几乎所有能想到的生理信号来做认知负荷的 "晴雨表":脑电(EEG)、功能性近红外光谱(fNIRS)、心电图(ECG)、光电容积脉搏波(PPG)、皮肤电反应(EDA)、眼动追踪…… 信号越来越多,问题也随之而来 —— 到底哪些信号最靠谱?它们之间如何配合?有没有一种 "全能方案"?
接下来的四篇研究,从综述到实验,从小样本到大样本,从单模态到六模态,逐步回答了这些问题。

二、文献分享:从单模态研判到多维融合验证

📄 所有能测的信号,到底谁的评估效果更优?

.Das Chakladar, D., & Roy, P. P. (2024). Cognitive Neurodynamics, 18, 1445–1465.

这篇综述系统梳理了133篇用生理信号评估认知工作负荷的研究,覆盖 EEG、fNIRS、fMRI、眼动、呼吸、心电等几乎所有可用的生理测量手段,同时对比了传统机器学习和深度学习方法在认知负荷识别上的表现。
核心发现:研究明确了各模态的实际表现与优劣差异:EEG技术最成熟、识别精度最高,深度学习加持下分类准确率可达85%-97%;fNIRS具备突出的应用潜力,抗运动干扰、佩戴舒适,适配真实场景长期监测;眼动指标性价比最高,采集成本最低、灵敏度突出。同时研究直指行业核心痛点,现有模型普遍存在严重的跨任务泛化缺陷,不同任务场景下模型性能大幅衰减。
意义:该综述完整厘清了各类生理信号的应用价值与适配场景,精准定位领域技术瓶颈,为后续多模态认知负荷模型的优化与迭代提供了系统性的参考依据。

📄 六种信号同步采集,对比不同模态的评估效能

Mark, J. A., Curtin, A., Kraft, A. E., Ziegler, M. D., & Ayaz, H. (2024). Frontiers in Neuroergonomics, 5, 1345507.

2024年发表于《Frontiers in Neuroergonomics》的实证研究,联合高校与企业团队开展纵向实验,招募23名被试,设置六种不同维度的认知任务并区分难易双梯度,同步采集fNIRS、EEG、ECG、PPG、眼电、眼动六种生物医学信号进行横向对比分析。

    核心发现:实验数据显示,fNIRS与EEG可解释超90%的认知负荷变异,是负荷评估的核心信号,且二者功能互补,fNIRS擅长区分任务难度,EEG可有效捕捉训练过程中的学习动态变化,心率、眼动等外周信号可作为有效补充。区别于常规单次实验研究,该研究采用四周跨天纵向采集设计,更贴合真实训练场景下认知负荷动态变化的特征。
    意义:这一研究直观验证了多模态信号并非简单叠加,而是从脑血氧代谢、神经电活动、躯体自主反应多维度构建完整认知负荷生理图景,为实景动态监测提供了坚实的实验支撑。

    📄 159 个人同时测,大样本验证多模态融合

    Zhao, Q., Yang, J., Wang, Q., Zhu, R., Guo, L., Zhou, Q., Wu, P., Shen, L.  (2025). AHFE Open Access, vol 173. https://doi.org/10.54941/ahfe1006285

    2024年发表于AHFE国际会议的工程化研究,针对当前认知负荷研究样本量小、结论稳健性不足的问题,招募159名健康被试开展大样本实验,采用0-back至3-back梯度n-back任务诱发分级认知负荷,同步采集EEG、HRV、EDA三类核心生理信号构建标准化数据集。

    核心发现:统计分析结果证实,随着任务难度提升,被试EEGalpha、theta波段功率与HRV低频指标均呈显著递增规律,验证了多模态信号对认知负荷变化的高敏感性,且通过回归量化得出EEG特征贡献权重最高(β=0.57),是负荷评估的核心依据。依托超大样本量,该研究极大提升了实验结论的统计可信度,且区别于纯理论研究,其核心目标是搭建可落地的多模态传感融合评估框架。

    意义:该成果有效填补了大样本实证空白,实现了从实验室机理验证到工程化系统搭建的关键突破,为高精度认知负荷评估系统的实际部署奠定基础。

    📄 MATB-II  —— 航空级认知负荷评估的标杆范式

    Bhatti, A., et al., (2025). IEEE Transactions on Cognitive and Developmental Systems. https://doi.org/10.1109/TCDS.2025.3555517

    2025年发表于IEEE顶刊《Transactions on Cognitive and Developmental Systems》的研究,突破传统单一认知任务的实验局限,基于NASA开发的MATB-II多任务范式模拟航空等复杂实景作业场景,招募24名被试完成多轮梯度难度实验,同步采集EEG、ECG、EDA、眼动四类模态数据,并通过10秒高频自我标注构建真实标签,打造CLARE实时认知负荷数据集。

    核心发现:模型测试结果显示,模态组合无通用最优解,十折交叉验证中外周生理+眼动组合性能最优,而更贴合泛化测试的留一被试验证中,脑电信号不可或缺。

    意义:该研究构建了“复杂多任务范式+多模态数据+实时精准标注”的完整评估体系,公开的基准数据集与模型测试结果,为复杂真实场景下的实时认知负荷评估提供了标杆范式,有效推动了相关技术从实验室研究走向工业、航空等实际应用场景。

    三、从研究到落地:中科心研的认知负荷实验平台

    上述研究共同指向一个结论:认知负荷的客观量化已经过了充分的学术验证。下一步的核心挑战不再是 "能不能测",而是"怎么让研究者方便地测"。
    因为如果你仔细看上面这些研究,会发现一个被淡化的现实问题 —— 搭一套认知负荷实验有多麻烦。你要选范式(n-back?Stroop?MATB-II?),要编程实现不同难度等级的切换和计时,要对齐多种采集设备的时钟信号,要在实验结束后手动导出和处理来自不同系统的数据,然后再写算法做分析…… 对于一位想快速验证假设的研究者来说,光是实验搭建就可能耗费数周甚至数月。
    中科心研的认知负荷诱发与多模态数据分析实验平台正是为解决这个 “从零搭建”的痛点而设计的。

    🧠 认知负荷诱发与多模态数据分析实验平台

    多模态生理信号如何让大脑的工作量被

    平台的核心能力可以概括为三个词:预置范式、多模态同步、自动分析。

    • 预置认知任务范式
    多模态生理信号如何让大脑的工作量被
    → 平台内置MATB-II认知负荷诱发范式,研究者无需自行编程即可直接使用。不同难度等级的切换、试次间隔、事件打点等实验流程均已配置完毕。研究者只需要选择相应的模版就可以开始实验。如果要使用自定义范式,平台也支持灵活的任务编辑功能。
    • 多模态数据同步采集
    多模态生理信号如何让大脑的工作量被
    → 平台支持10+种数据模态同步接入——包括但不限于EEG、fNIRS、ECG、PPG、EDA、眼动、面部表情、语音等。这意味着研究者可以把不同厂商、不同类型的设备统一接入同一个平台,所有数据在时间轴上精确对齐,不需要后期手动配准。
    • 自动化特征分析
    多模态生理信号如何让大脑的工作量被
    多模态生理信号如何让大脑的工作量被
    → 提供对认知负荷敏感的眼动、脑电、脉搏、⾯部表情特征的⾃动化分析,为后续进⼀步的认知负荷分析与识别建模提供指标⽀撑。

    🎯 典型应用场景

    多模态生理信号如何让大脑的工作量被

    场景一:航空/军事人员认知负荷评估 → 平台预置MATB范式 → 被试执行多任务 → 同步采集EEG+HRV+眼动 → 自动提取特征 → 分析不同难度下的认知负荷变化模式 → 用于人员选拔或训练优化

    场景二:人机交互认知负荷评测 → 设计不同版本的界面 → 平台预置 MATB 多任务范式 → 设置不同认知负荷梯度 → 被试完成多任务操作 → 同步采集生理与主观数据 → 分析认知负荷对人机交互行为的影响 → 为人机系统优化提供支撑

    场景三:技能习得与认知负荷交互研究 → 平台预置MATB范式 → 设置不同任务难度梯度 → 被试参与学习训练并完成任务 → 同步采集多维生理数据 → 分析学习效应与任务需求的交互作用 → 验证生理指标敏感性、支撑认知负荷研究

    参考文献

      1. Das Chakladar, D., & Roy, P. P. (2024). Cognitive workload estimation using physiological measures: a review. Cognitive Neurodynamics, 18, 1445–1465. https://doi.org/10.1007/s11571-023-10051-3
      2. Mark, J. A., Curtin, A., Kraft, A. E., Ziegler, M. D., & Ayaz, H. (2024). Mental workload assessment by monitoring brain, heart, and eye with six biomedical modalities during six cognitive tasks. Frontiers in Neuroergonomics, 5, 1345507. https://doi.org/10.3389/fnrgo.2024.1345507
      3. Zhao, Q., Yang, J., Wang, Q., Zhu, R., Guo, L., Zhou, Q., Wu, P., & Shen, L. (2024). Engineering a Cognitive Load Assessment System Through Multimodal Sensor Fusion. AHFE Open Access. https://doi.org/10.54941/ahfe1006285
      4. Bhatti, A., Angkan, P., Behinaein, B., Mahmud, Z., Rodenburg, D., Braund, H., Mclellan, P. J., Ruberto, A., Harrison, G., Wilson, D., Howes, D., Etemad, A., & Hungler, P. (2025). CLARE: Cognitive Load Assessment in REaltime with Multimodal Data. IEEE Transactions on Cognitive and Developmental Systems. https://doi.org/10.1109/TCDS.2025.3555517
      多模态生理信号如何让大脑的工作量被

      相关阅读