典型应用

教育技术中的课堂设计与评估

4 个科研案例

通过生理反应同步表现评估师生情绪一致性

本研究以真实的课堂为场景,探索了依据生理指标评估人际情绪一致性的新方式。

课前,研究人员为教师与学生佩戴便携式手环,用于收集他们在上课过程中的脉搏和皮肤电阻数据;采用“跟读”范式,教师在课堂上朗诵诗歌,每读完一句,学生们模仿教师的情感进行跟读;课后,请师生对其主观情绪体验做出评价。

研究结果发现,师生之间的共同情绪,以及他们对彼此的情感感知,可以通过他们生理反应的同步性来体现。

通过生理反应同步表现评估师生情绪一致性

ReferenceQi, H., Zhang, Y., Dong, K., & Zhao, G. (2024). How dyadic emotional transmission shapes teacher-student relationship: effects of emotional convergence on cohesion in teacher-student interaction. Current Psychology, 43(28), 23469-23483.

手机对在线学习影响的多模态数据集构建

本研究构建 IMPROVE 多模态公开数据集,探究手机使用与无手机恐惧症对在线学习者生理、行为及学习表现的影响。

设置差异化手机管控的对照实验,同步采集脑电、眼动、可穿戴生理、视频与学习行为数据;受试者完成线上课程学习任务,融合人工标注与头部姿态检测的半监督方法标注手机干扰事件,对数据集开展多维度验证。

结果表明手机使用会引发学习者注意力降低、心率及肢体运动出现显著变化。

手机对在线学习影响的多模态数据集构建

ReferenceDaza, R., Becerra, A., Cobos, R., Fierrez, J., & Morales, A. (2025). A multimodal dataset for understanding the impact of mobile phones on remote online virtual education. Scientific Data, 12(1), 1332.

基于智能手表的实时情绪识别情感化学习系统

本研究面向课堂情感化学习场景,搭建 SensEmo 系统,利用智能手表采集生理信号识别学习者情绪,并借助强化学习给出教学调整建议。

使用智能手表采集心率、皮电、皮肤温度生理数据;采用个性化归一化消除个体生理差异,基于效价-唤醒度空间划分四类学习情绪;构建 MDP 马尔可夫决策控制器输出授课节奏、内容调整策略;在线上、线下真实课堂开展对比实验。

系统情绪识别准确率可达 88.9%,平均决策响应时间 3.1 秒;使用该系统的学习者测验成绩平均提升 40%,课堂内好奇情绪持续时间更长。

基于智能手表的实时情绪识别情感化学习系统

ReferenceChoksi, K., Chen, H., Joshi, K., Jade, S., Nirjon, S., & Lin, S. (2024). SensEmo: Enabling Affective Learning through Real-time Emotion Recognition with Smartwatches. 2024 IEEE 21st International Conference on Mobile Ad-Hoc and Smart Systems (MASS), 453-459.

基于腕带与环境传感的中学课堂行为情绪数据集

本研究发布首个结合腕带生理数据与建筑环境传感、刻画学生课内行为、投入度与情绪的公共数据集。

研究含两条线:纵向部分在教室安装室内外气象站并监测空调使用,连续记录建成环境数据;横断面部分为师生佩戴腕带采集脉搏、皮电、皮温与加速度,配合课后问卷收集热舒适、投入度与情绪自评。

该数据集是首个面向真实中学场景的多源传感公开数据集;论文以纵向数据拟合模型预测教室空调开关状态,验证了其在居住者行为建模上的可用性。

基于腕带与环境传感的中学课堂行为情绪数据集

ReferenceGao, N., Marschall, M., Burry, J., Watkins, S., & Salim, F. D. (2022). Understanding occupants' behaviour, engagement, emotion, and comfort indoors with heterogeneous sensors and wearables. Scientific Data, 9(1), 261.

人居环境设计与环境行为

4 个科研案例

多模态数据分析老年人对居住环境的压力感受

本研究依据老年人在户外散步时的多种生理信号评估压力,结合实时位置与环境信息,探讨街道环境对老年人活动的影响。

研究者邀请 10 名 65 岁以上的老人散步,第一次散步佩戴智能手环,实时记录皮肤电导反应与脉搏特征、位置、环境数据;第二次散步不戴手环,需要老人在散步时说出压力感受;使用多模态数据创建模型、生成压力热点图。

研究者创建的模型对老人在真实场景中压力状态及程度的识别准确率分别为 98.13% 和 98.25%;借助热点图可找出阻碍老人活动的地点、环境设施。

多模态数据分析老年人对居住环境的压力感受

ReferenceTorku, A., Chan, A., Yung, E., & Seo, J. (2022). Detecting stressful older adults-environment interactions to improve neighborhood mobility: A multimodal physiological sensing, machine learning, and risk hotspot analysis-based approach. Building and Environment, 224: 109533.

基于患者的生理心理指标评估医院病房声环境

本研究使用 VR 技术构建了一个虚拟的医院房间模型,基于生理心理指标,探讨了声音环境对患者压力缓解的影响。

实验前,患者参与压力诱发任务;之后佩戴 VR 眼镜和耳机,在 4 种声音条件(环境噪音、机械声、人为噪音、音乐)下观看虚拟病房;期间,研究者使用手环实时监测患者的心率和皮肤电导反应,并询问患者对心理恢复状态的主观感受。

研究结果发现音乐在减轻患者压力方面发挥着重要作用,机械和人为声音对患者的压力恢复产生负面影响。

基于患者的生理心理指标评估医院病房声环境

ReferenceZhou, T., Wu, Y., Meng, Q., & Kang, J. (2020). Influence of the Acoustic Environment in Hospital Wards on Patient Physiological and Psychological Indices. Frontiers in Psychology, 11: 1600.

适用于智能家居环境的老年人可穿戴健康监测系统

本研究设计了一项适用于智能家居环境的老年人健康监测系统。

本研究借助智能手表采集老年人的实时皮肤电导反应、脉搏、皮肤温度等生理信息,构建压力评估模型;基于脉搏信号创建血压评估模型;使用超声波传感器创建室内定位系统探测老人的实时位置。

结果表明:综合使用皮肤电导反应、脉搏、心跳间隔、皮肤温度识别压力的准确率达 96%;单独使用脉搏信号也可以有效估计收缩压与舒张压。

适用于智能家居环境的老年人可穿戴健康监测系统

ReferenceNath, R. K., & Thapliyal, H. (2021, July). Wearable health monitoring system for older adults in a smart home environment. In 2021 IEEE Computer Society Annual Symposium on VLSI (ISVLSI) (pp. 390-395). IEEE.

基于生理信号解码人体热舒适的新方法

本研究使用多源可穿戴生理信号,探究生理特征与人的主观热感觉的关联,支撑个性化热舒适模型构建。

在可控气候舱设置冷、中性、暖三种工况,采集 EEG、HRV、EDA、皮温信号,提取大量特征后基于主观热感觉分组做统计检验。

冷、暖热感觉可通过多组生理特征实现显著区分,但中性热感觉个体差异大较难识别;Gamma TP10、LF/HF、EDA 紧张成分、平均皮温组合识别冷热感知效果最优;证明生理信号可捕捉个体差异化热感受。

基于生理信号解码人体热舒适的新方法

ReferenceMansi, S. A., Pigliautile, I., Arnesano, M., & Pisello, A. L. (2022). A novel methodology for human thermal comfort decoding via physiological signals measurement and analysis. Building and Environment, 222, 109385.

精神与躯体障碍早期识别与干预

4 个科研案例

中科院心理所抑郁症长期追踪项目“心花计划”

国内首个针对抑郁症的追踪研究,涵盖抑郁症患者和亚临床抑郁状态两个群体。

借助可穿戴设备与智能硬件,建立反刍思维、自发思维、脉搏、皮肤电、运动水平、睡眠质量、手机交互行为和脑功能影像学的多维度指标体系,建立抑郁症早期识别与预警系统。

开展移空疗法、音乐治疗、正念生活小组等多种形式的心理干预技术研究,形成可操作化的抑郁症预防方案,提出用于验证心理干预效果的过程化、个性化评价方法。

中科院心理所抑郁症长期追踪项目“心花计划”

Reference更多项目介绍和进展,详见:http://ibcdr.psych.ac.cn/MindFlower(已通过中国临床试验注册,注册号:ChiCTR2200060396)

智能手表与智能手机评估早期帕金森病

本研究探究消费级智能手表与手机 APP 是否可捕捉早期未用药帕金森病的各类特征,挖掘用于临床试验的数字化评估指标。

入组早期 PD 患者与年龄匹配对照组,在诊室完成标准化测试,居家开展智能手表连续监测、手机周期性任务采集;获取步态、精细运动、震颤、语音、认知数据,与传统临床量表做统计对比与相关性分析。

设备可以检出 PD 患者手臂摆幅下降、震颤占比升高、敲击异常、语音音高范围收窄等特征;部分数字指标比医师主观评估更灵敏。

智能手表与智能手机评估早期帕金森病

ReferenceAdams, J. L., Kangarloo, T., Gong, Y., Khachadourian, V., Tracey, B., Volfson, D., ... & Dorsey, E. R. (2024). Using a smartwatch and smartphone to assess early Parkinson's disease in the WATCH-PD study over 12 months. npj Parkinson's Disease, 10(1), 112.

HRV 生物反馈改善共病 PTSD 与慢性疼痛症状

本研究采用等待列表随机对照试验,评估六周心率变异性生物反馈(HRV-BF)干预对同时患有 PTSD 和慢性疼痛人群的症状改善效果。

受试者随机分为干预组与等待对照组;干预组完成诊所指导 + 居家每日共振呼吸生物反馈训练;使用 PCL-5、IES-R、BPI-sf 等量表评估 PTSD、疼痛、情绪,采用线性混合模型分析组间随时间的变化,并检验训练剂量和疗效关系。

HRV-BF 显著改善 PTSD 全部症状维度、创伤痛苦与疼痛对生活的干扰,但对主观疼痛无特异性改善;干预脱落率低,疗效不存在训练剂量依赖。

HRV 生物反馈改善共病 PTSD 与慢性疼痛症状

ReferenceChadwick, T. M., Tatschl, J. M., Fujiyama, H., Drummond, P. D., & Mathersul, D. C. (2025). Heart rate variability biofeedback improves co-occurring posttraumatic stress disorder and chronic pain symptoms: A randomised waitlist controlled trial. Journal of Affective Disorders, 120558.

基于可穿戴设备探究焦虑障碍与心率变异性的关联

本研究采用远程居家实验范式,使用手环采集静息心率,探究焦虑障碍人群迷走神经生理特征,评估混杂变量、血统、药物的影响。

将受试者分为焦虑障碍组与健康对照组,居家视频指导完成 5 分钟静息 PPG 采集,完成多套焦虑抑郁量表;预处理得到 RMSSD、HF 指标,校正年龄,分遗传亚组开展协方差分析与相关性分析。

欧洲裔样本中焦虑障碍人群 RMSSD 显著更低,该指标主要与焦虑躯体症状(HAM-A)相关;在主要的欧洲裔亚组未观测到抗抑郁药对 HRV 的显著作用;研究证实居家可穿戴开展精神生理研究可行。

基于可穿戴设备探究焦虑障碍与心率变异性的关联

ReferenceTomasi, J., Zai, C. C., Zai, G., Herbert, D., Richter, M. A., Mohiuddin, A. G., ... & Kennedy, J. L. (2024). Investigating the association of anxiety disorders with heart rate variability measured using a wearable device. Journal of Affective Disorders, 351, 569-578.

驾驶行为与交通安全

4 个科研案例

驾驶过程中驾驶员心理压力识别研究

本研究提出了一种在真实驾驶过程中对驾驶员心理压力进行分类识别的算法模型。

本研究采用 MIT-BIH 数据集,通过可穿戴设备收集了 17 名驾驶员在实际驾驶过程中的心电、皮肤电阻、心率、肌电等多种生理数据。

研究人员对这些生理数据进行了预处理、特征提取等一系列规范化处理后,对结果进行了统计检验。结果表明,驾驶员在驾驶过程中的压力水平分成三个等级时,各个压力等级之间存在显著差异;众多生理特征中,从驾驶员脚部采集的皮肤电阻特征区分驾驶员压力的准确率最高。

驾驶过程中驾驶员心理压力识别研究

ReferenceMemar, M., & Mokaribolhassan, A. (2021). Stress level classification using statistical analysis of skin conductance signal while driving. SN Applied Sciences, 3(1), 64.

基于可穿戴传感刻画长途卡车驾驶员压力与疲劳

针对长途卡车驾驶员真实营运下压力疲劳生理数据难以获取的问题,利用多模态可穿戴设备在自然货运驾驶场景刻画驾驶员应激与疲劳特征。

采用可穿戴设备采集心率、皮肤电等生理信号,结合每日主观问卷,不干预司机原有营运任务,使用线性混合效应模型分析生理指标与驾驶工况的关联。

结果表明心率、皮肤电可反映驾驶带来的生理负荷累积;主观压力与交通、能见度条件显著相关,皮肤温度不适宜作为该场景压力指标,设备整体佩戴体验良好。

基于可穿戴传感刻画长途卡车驾驶员压力与疲劳

ReferenceThapa, S., & Sarkar, A. (2026, June). Characterizing Stress and Fatigue in Long-Haul Truck Drivers through Wearable Sensing and Physiological Measures. In 2026 IEEE Intelligent Vehicles Symposium (IV) (pp. 1179-1185). IEEE.

多源非视觉特征融合的卡车疲劳检测

本研究提出了一种融合生理、车辆与时间特征、基于 Attention-BiLSTM 的卡车司机疲劳检测方法。

开展自然驾驶实验,司机佩戴生理腕带,车载设备采集车辆运动数据,结合行程日志构建多源特征;以 1 分钟时间窗生成时序样本,通过视频观察标定疲劳标签,输入 Attention-BiLSTM 训练,并与主流视觉方法对比。

模型 F1-score 达 83.21%,precision 和 recall 均超过 80%,优于所对比的视觉方法;PPG 为最重要特征,载重、累计驾驶时间、午夜驾驶和近期工作时长与疲劳概率正相关,GSR、车辆加速度和近期休息时长呈负相关。

多源非视觉特征融合的卡车疲劳检测

ReferenceHe, C., Xu, P., Pei, X., Wang, Q., Yue, Y., & Han, C. (2024). Fatigue at the wheel: A non-visual approach to truck driver fatigue detection by multi-feature fusion. Accident Analysis & Prevention, 199, 107511.

基于生理信号建模条件自动化下驾驶员状态与接管行为

针对自动驾驶接管多依赖车辆、视觉传感器,缺少纯生理信号可解释判别框架的问题,本研究采用心电、皮肤电、呼吸时序信号,识别接管事件并区分接管响应快慢。

基于 AdVitam 模拟器数据集,设置两类分类任务,对比传统隐马尔可夫 THMM、自编码器增强 EHMM 与传统机器学习基线。

仅靠生理信号对接管事件、接管快慢分别取得最高 76%、75% 准确率;时序 HMM 优于静态模型,接管会提升生理唤醒,慢速接管伴随更强持续应激。

基于生理信号建模条件自动化下驾驶员状态与接管行为

ReferenceMiller, J. A., Nikan, S., & Zaki, M. H. (2026). Modeling driver state and takeover behavior in conditional automation using physiological signals. IEEE Open Journal of Intelligent Transportation Systems, 7, 477-491.

运动心理与康复

4 个科研案例

可穿戴-云端平台支持卒中后长期监测

本研究开发并评估了一套整合智能手表活动与 PPG-HRV 信号及数字问卷临床评分的可穿戴-云端平台,用于卒中后患者真实世界长期监测。

卒中后患者日常佩戴智能手表,并配合手机应用完成日常活动和生理数据采集,同时填写问卷;将可穿戴域复合指标与临床评分进行关联分析。

平台在多中心场景下可运行,能生成参与者层面的临床与可穿戴汇总;MoCA-K 认知评分与 HRV/自主神经复合值呈中度正相关,有待更大纵向队列进一步验证。

可穿戴-云端平台支持卒中后长期监测

ReferenceChoi, H. H., Choi, S., Kim, S. H., Seo, W. K., Jung, J. M., Park, S., & Seo, H. C. (2026). Smartwatch-based automated lifelog platform: feasibility and preliminary real-world evaluation with real-world data from post-stroke patients. Scientific Reports.

借助可穿戴传感器评估青少年足球队员的运动协调性

本研究借助可穿戴传感器监测动作协调性,分析了动作协调性对青少年足球队员下肢力量运用的影响。

共 18 名青少年足球运动员参与测验,佩戴传感器完成三项足球训练活动(垂直跳跃、敏捷低跳、90° 转向跑)和哈雷赛道测试。研究者根据哈雷赛道测试,评估球员的动作协调性(不佳/良好);借助惯性传感器记录的球员运动期间的下肢关节角度和加速度。

研究发现,在足球训练中,动作协调不佳的球员表现出内外髋关节旋转、膝关节外翻膝关节不对称等问题。运动协调评估与实时生物力学监测有助于预防训练中出现前交叉韧带损伤。

借助可穿戴传感器评估青少年足球队员的运动协调性

ReferenceDi Paolo, S., Zaffagnini, S., Pizza, N., Grassi, A., & Bragonzoni, L. (2021). Poor motor coordination elicits altered lower limb biomechanics in young football (soccer) players: implications for injury prevention through wearable sensors. Sensors, 21(13), 4371.

基于加速度计逐小时活动频率评估脑健康

本研究提出了一种基于腕戴加速度计、按小时分段计算每日体力活动频率的新指标,并探究其与中老年人脑健康的关系。

利用前瞻性队列的加速度计数据,将每日 6:00—24:00 划分为 18 个 1 小时段,每段达到一定轻强度或中高强度活动时长即计 1 分,累加为活动频率评分并分组;随访脑疾病发病,并结合脑 MRI 白质高信号体积分析,采用 Cox 回归、限制性立方样条和广义线性回归调整混杂因素。

活动频率较高组的痴呆、焦虑、抑郁、偏头痛、帕金森病和卒中风险较低;活动频率每增加 1 分,白质高信号体积减少 51.55 mm³,约抵消 2 个月年龄相关进展,且多数关联独立于活动总量。

基于加速度计逐小时活动频率评估脑健康

ReferenceLi, Z., Lei, Y., Wen, Z., Duan, L., & Xiao, Z. (2026). Accelerometer-derived hourly segmentation of daily physical activity frequency and brain health: A prospective cohort study in middle-aged/older adults. Journal of Affective Disorders, 121528.

基于腕戴 PPG 实时反馈个性化快走干预改善抑郁症状

本研究探究依托可穿戴设备实时心率变异性反馈的个性化快走,对比标准化运动处方对轻-中度抑郁的干预增益效果。

受试者交替接受个性化 PPG 动态强度调节快走与固定参数快走,设置洗脱期,同步采集心理量表、心率、血清生物标志物多类指标。

两类快走干预均可改善抑郁;个性化方案带来统计学上额外获益,依从性、自主神经功能、BDNF 与炎症指标改善更突出,该增量收益在自主神经功能受损人群身上表现最为明显,心率变异性改善可提前预测后续抑郁症状缓解。

基于腕戴 PPG 实时反馈个性化快走干预改善抑郁症状

ReferenceZhang, P., Fu, H., Fu, Q., Xu, T., & Lin, Y. (2026). Real-time feedback-based personalized moderate-intensity aerobic brisk walking intervention using wrist-worn photoplethysmography (PPG) on mild-to-moderate depressive. Acta Psychologica, 266, 106782.

军事训练与效能评估

4 个科研案例

急性心理应激适应性训练与训练效果评估研究

本研究通过虚拟现实技术,搭建能够有效诱发个体高应激反应的 VR 场景,研究个体在应激适应训练期间的生理心理反应。

研究者邀请 44 名健康的男性大学生与 12 名男性飞行学员,要求他们佩戴 VR 装置,在虚拟高空场景中完成多个工作记忆任务。使用手环记录其实时心率,并收集唾液皮质醇和主观体验报告(压力水平、积极/消极情绪),以评估应激对其执行功能的影响。

结果表明,本研究创建的方法可有效诱发两组参与者的急性应激反应,适应性训练可显著降低应激对工作记忆绩效的影响。

急性心理应激适应性训练与训练效果评估研究

Reference汪杼彬. (2020). 一种基于高空虚拟现实的应激诱发新范式——有效性研究及其对工作记忆的影响. 中国科学院大学硕士论文.

基于多源可穿戴传感量化徒步步兵班组战术演练团队绩效

针对步兵班组战术训练依靠观察员主观打分、缺少客观量化评价手段的问题,借鉴体育可穿戴分析思路构建模型,实现班组战术绩效定量评估。

采集 IMU、GPS、心率、语音、MILES 多源传感数据,开展班组突击演练,提取多类特征,利用线性混合效应模型分析通信、火力效能、行动猛烈度三项战术构念。

传感指标可解释 51.5%-63.8% 主观评分变异;通信、火力、行动猛烈度分别和指挥队形、杀伤机动、持续火力相关,证明可穿戴数据能够辅助军事复盘。

基于多源可穿戴传感量化徒步步兵班组战术演练团队绩效

ReferenceHancock, C. L., Teo, G. W., King, M. J., Goodwin, G. A., Pitts, K. P., Coyne, M. E., ... & O'Donovan, M. P. (2025). Quantitative team performance metrics for dismounted infantry battle drill analysis. Applied Ergonomics, 125, 104473.

多轴前庭刺激下飞行员自主神经评价方案比较

本研究对比电动转椅与两套不同转速参数三维滚轮,评估不同方案对人体前庭稳定性与自主神经功能的测试效果。

20 名受试者间隔完成三种前庭刺激测试,采集前庭主观分级、Graybiel 运动病评分、血压心率、HRV 心率变异性、瞳孔反射等主客观指标,对比各组差异。

三维滚轮可有效评价前庭稳定性,相比电动转椅能诱发更强的自主神经改变;方案二刺激强度高于方案一,但最优测试参数仍需进一步优化。

多轴前庭刺激下飞行员自主神经评价方案比较

Reference贾斯浩, 潘益凯, 黎舒涵, 李程飞, & 孙喜庆. (2023). 三维滚轮评价人体前庭功能和自主神经功能方案研究. 心脏杂志, 35(4), 451-455.

高压力情境对军人快速决策表现的影响

本研究通过虚拟场景呈现敌我辨识任务,通过分析不同压力水平下受训者的决策行为绩效与生理信号,分析压力水平对军人快速决策的影响。

研究者使用 5 个屏幕环绕 300° 营造虚拟实战场景,邀请 26 名陆军学员参与实验。学员需快速辨别出现的人物是敌是友,对敌人开枪。高压条件下,若误伤朋友或不及时向敌人开枪,学员腰部受电击;低压条件下仅感到振动。学员佩戴的传感器可实时记录实战期间的心率变异性特征。

研究发现,学员在高压下更容易将朋友误认为敌人,心率变异性的高频成分增加,表现出更高的认知灵活性和行为适应性。

高压力情境对军人快速决策表现的影响

ReferenceGamble, K. R., Vettel, J. M., Patton, D. J., Eddy, M. D., Davis, F. C., Garcia, J. O., Spangler, D. P., Thayer, J. F., & Brooks, J. R. (2018). Different profiles of decision making and physiology under varying levels of stress in trained military personnel. International Journal of Psychophysiology, 131: 73-80.

复杂环境下人机环系统工程

4 个科研案例

使用心率变异性评估潜艇巡航对个体身心的消极影响

本研究使用心率变异性分析了长期水下巡航对潜艇艇员的心理与感官表现带来的消极影响。

19 名执行 80 天秋冬巡航任务的潜艇艇员参与了本项研究。研究人员分 4 次采集艇员的内在自我感受、外部感官功能和静息状态下的心率变异性,将巡航前的生理心理数据作为基线,将巡航第 20、50 天的数据用于分析艇员巡航期间的状态,将巡航结束一个月后的数据用于评估艇员身心状态恢复水平;根据心率变异性基线数据将艇员分 2 组(低/高副交感活性组)。

结果表明,在巡航期与恢复期,高副交感活性组的艇员适应性更强,表现出更好的内在自我感受与更强的外部感官功能。

使用心率变异性评估潜艇巡航对个体身心的消极影响

ReferenceLe Roy, B., Aufauvre-Poupon, C., Ferragu, A., Vannier, A., Martin-Krumm, C., & Trousselard, M. (2023). Cardiac biosignal in confined nuclear submarine patrol: Heart rate variability a marker of adaptation. Acta Astronautica, 203: 469-482.

模拟飞行中飞行员转弯行为认知负荷分析

本研究探究模拟飞行条件下,利用心率变异性 HRV 识别飞行员不同转弯机动带来的认知负荷。

开展模拟飞行实验,采集爬升、下降、水平三类转弯任务的 HRV 时序生理数据;统计筛选差异特征,构建 KNN、RF、LSTM 以及 LSTM-Attention 分类模型识别转弯认知负荷。

结果表明,爬升转弯认知负荷最高,多项 HRV 指标与认知负荷负相关;LSTM-Attention 模型识别效果最优(F1=0.9491),可为飞行员训练负荷评估提供客观手段。

模拟飞行中飞行员转弯行为认知负荷分析

ReferenceZhou, W. G., Yu, P. P., Wu, L. H., Cao, Y. F., Zhou, Y., & Yuan, J. J. (2024). Pilot turning behavior cognitive load analysis in simulated flight. Frontiers in Neuroscience, 18, 1450416.

座舱界面对新手飞行员情境觉知与心理负荷的影响

本研究对比传统机械与数字化两套座舱显示界面,探究其对新手飞行员情境觉知与心理工作负荷的影响。

开展模拟飞行实验,设置不同难度 N-back 次级任务,采集飞行绩效、便携脑电 EEG、HRV、NASA-TLX 主观量表,对比两种界面下被试的认知表现。

结果表明,数字化 G1000 界面的情境觉知表现更好、心理负荷更低;极高多任务压力会削弱界面带来的优势;HRV 对巡航阶段的负荷变化敏感度不足。

座舱界面对新手飞行员情境觉知与心理负荷的影响

ReferenceTang, H., Lee, B. G., Towey, D., & Pike, M. (2024). The impact of various cockpit display interfaces on novice pilots' mental workload and situational awareness: a comparative study. Sensors, 24(9), 2835.

直升机自转期间采用生理行为参数评估飞行员工作负荷

本研究验证了使用生理参数评估飞行员在处理直升机单发失效事件前后工作负荷的可行性。

使用可穿戴生理传感器,实时记录了 11 名飞行员在单发失效事件后,重新获得飞机控制权和安全着陆的机动期间(即自转期间)的呼吸、心率、皮肤电导反应、眼动、面部表情等特征。采用直升机着陆的垂直速度作为安全绩效,飞行员对工作负荷的主观评估作为依据,验证生理特征的准确性。

结果表明,融合多种生理和行为参数的同步、连续记录可以有效反映飞行员在险情处理任务中的工作负荷。

直升机自转期间采用生理行为参数评估飞行员工作负荷

ReferenceScarpari, J., Ribeiro, M., Deolindo, C., et al. (2021). Quantitative assessment of pilot-endured workloads during helicopter flying emergencies: an analysis of physiological parameters during an autorotation. Scientific Reports, 11, 17734.

人际协同与社会互动

4 个科研案例

基于可穿戴生理数据识别多种积极情绪

本研究构建中文积极情绪数据库 CPED,探究多种离散积极情绪的主观结构,并评估 GSR、PPG 外周生理信号区分不同积极情绪的能力。

以中科院心理所建立的积极情绪视频材料库为实验素材,被试观看视频并完成主观情绪评分,同步采集 GSR 与 PPG 生理数据;经筛选、K-means 聚类得到最终数据库,使用多种机器学习模型做情绪分类基线实验。

从两类生理信号中共提取 84 个时频域特征,输入 SVM、RF、DBN、LSTM 模型完成四大积极情绪分类;结果表明离散积极情绪可聚类为愉悦、共情、启发求知、尊崇四类。

基于可穿戴生理数据识别多种积极情绪

ReferenceZhang, Y., Zhao, G., Shu, Y., Ge, Y., Zhang, D., Liu, Y. J., & Sun, X. (2021). CPED: A Chinese positive emotion database for emotion elicitation and analysis. IEEE Transactions on Affective Computing, 14(2), 1417-1430.

人际心率同步预测小组决策任务的有效信息加工

本研究利用隐藏剖面小组决策范式,探究人际心率同步作为生理标志物预测集体决策效果的能力。

多人小组完成信息分散的候选人选拔讨论,同步采集全体成员心率;使用 MdRQA 多维递归定量分析提取心率同步特征,采用嵌套交叉验证 KNN 分类,对比基线、主观问卷、讨论时长等多组对照特征的预测性能。

小组讨论阶段的人际心率同步实现 70% 以上交叉验证准确率,预测表现显著优于主观问卷、小组规模、讨论时长;叠加问卷信息不会进一步提升模型性能。

人际心率同步预测小组决策任务的有效信息加工

ReferenceSharika, K. M., Thaikkandi, S., Nivedita, & Platt, M. L. (2024). Interpersonal heart rate synchrony predicts effective information processing in a naturalistic group decision-making task. Proceedings of the National Academy of Sciences, 121(21), e2313801121.

腕戴皮电同步揭示社交与非社交吸引机制

针对人际生理同步与浪漫吸引力的因果关系、个体同步特质尚不明确的问题,本研究结合线上视频与速配约会实验,探究社会-非社会同步及其和浪漫吸引力的关联。

线上观看操纵同步水平的约会视频并评分;速配约会采集皮肤电,结合节拍敲击任务获取社会、非社会同步指标,开展相关与多层模型分析。

提高生理同步可提升感知浪漫吸引力;初始好感不影响同步水平;社会与非社会同步能力相关,同步能力更强个体被评价更具浪漫吸引力。

腕戴皮电同步揭示社交与非社交吸引机制

ReferenceCohen, M., Abargil, M., Ahissar, M., & Atzil, S. (2024). Social and nonsocial synchrony are interrelated and romantically attractive. Communications Psychology, 2(1), 57.

心率同步作为真实世界社会投入度的标志物

本研究基于城市实地多模态穿戴采集,探究物理、社交、声学环境对人际心率同步的调控作用。

受试者佩戴心率腕带、声学采集设备、GPS 开展多天城市集体活动;划分物理距离、社交熟悉度、三类交互场景,计算人际心率 ISC,结合声学 SPL、SNR 做统计建模,以时间打乱序列作为对照基线。

近距离共处、社交熟悉、近距离交互与共同刺激关注会提升人际心率同步;嘈杂环境会削弱同步;分散式松散共处无显著同步,心率同步可作为现实场景社会投入的生理标志物。

心率同步作为真实世界社会投入度的标志物

ReferenceHe, H., Christensen, J. H., Sørensen, A. J. M., & Konvalinka, I. (2026). Heart rate synchrony as a marker of real-world social engagement. PNAS Nexus, 5(6), pgag181.

工业设计与神经营销学

4 个科研案例

使用生理数据评估公众对后工业景观的看法

本研究旨在通过多模态数据探究景观类型和元素影响公众感知和偏好的机制,以提高公众对后工业景观的满意度,并使研究人员能够更好地确定景观使用和后工业用地的改造。

研究共包括 48 名参与者,参与者在无干扰的环境中观看了后工业景观不同组合的图像,并记录眼动、皮肤电和心率数据。

研究发现与其他景观一样,自然元素可以减轻压力并促进恢复,例如开花灌木和乔木元素的百分比与偏好呈显著正相关,而地被植物元素的百分比与偏好呈显著负相关。与其他景观不同,人造元素更具吸引力,但增加了压力。

使用生理数据评估公众对后工业景观的看法

ReferenceHuang, C., Wei, F., Qiu, S., Cao, X., Chen, L., Xu, J., ... & Lin, Q. (2023). Interpreting regenerated post-industrial lands as green spaces: Comparing public perceptions of post-industrial landscapes using human factor design framework. Ecological Indicators, 157, 111282.

使用生理数据评估时限下的线上推广效果

本研究旨在探究各种在线促销方式对冲动购买行为的影响,并调查时间压力和在线评论在塑造消费者行为中的作用。

研究共包括 53 名参与者,每位参与者都有在线购买实验商品的经验,设置限制促销、货币促销以及非货币促销三种条件,通过模拟在线购物中心购物场景回忆个人的购买体验,记录脑电和皮肤电数据以确定促销影响。

研究发现货币促销和限时促销对购买态度和冲动购买行为都有显著影响,而非货币促销则不会引起消费者的积极反应。此外,每种促销刺激都会引发显著的压力,即推广方法可以引起参与者的生理信号和情绪反应。

使用生理数据评估时限下的线上推广效果

ReferenceLiang, C. C., & Lin, Y. W. (2023). Online promotion effects under time limitation-A study of survey and physiological signals. Decision Support Systems, 113963.

用腕带皮电与眼动量化拥挤下的游客情绪唤醒

本研究融合 GPS、移动眼动、皮肤电生理传感,从第一人称视角探究人群密度对游客情绪唤醒的影响。

在集市开展被试内实验,受试者分别在高峰、非高峰时段沿固定路线行走;通过眼动提取画面人数、行人画面占比等密度指标,同时采集步行速度、注视分布与皮肤电生理唤醒数据,开展皮尔逊相关统计分析。

行人画面占比、画面人数与皮肤电波峰幅值显著正相关;游客会使用视线转移作为视觉应对策略;研究提出基于人眼视角的拥挤四分类框架,该多模态框架可客观连续评估拥挤及对应的游客情绪反应。

用腕带皮电与眼动量化拥挤下的游客情绪唤醒

ReferenceMashkov, R., Shoval, N., Rizowy, B. I., Shavin, U., Srulovitch, H., & Shwartz, A. (2025). Measuring reactions to congestion in the digital era. Annals of Tourism Research, 113, 103976.

用腕带皮电预测 VR 游戏玩家的赛后体验

本研究探究利用 VR 游戏过程的可穿戴生理数据预测玩家游戏后主观体验,并考察游戏动作对 DPDR(人格解体-现实感丧失)的影响。

被试佩戴 E4 腕带游玩 VR 动作游戏,多轮采集皮电、皮温、运动加速度,游戏后填写 pGEQ 问卷;通过相关分析、机器学习建模、随机森林特征重要性开展分析。

皮电指标与游戏后体验显著相关;主观评价合并为三分类后模型预测精度较高;VR 游戏动作是引发 DPDR 感受的重要诱因。

用腕带皮电预测 VR 游戏玩家的赛后体验

ReferenceHuang, W., Gao, J., & Chen, X. (2025). Predicting post-VR game experiences with wearable physiological sensors. Entertainment Computing, 55, 100977.

情感计算与人工智能

4 个科研案例

感知不一致性的多模态生理信号融合情绪识别

本研究针对多生理信号情绪识别存在模态表征不一致与融合信息冗余的问题,提出一种感知不一致性的多模态生理信号融合模型。

将生理信号划分为主、辅助模态,利用 CMT 消除辅助模态间不一致,LRF 降低融合冗余,MCMT 挖掘长时序特征增强主模态;在 DEAP、WESAD 数据集上开展对比实验、可行性分析与模块消融实验。

实验证明模态不一致客观存在,整套模型可有效缓解该问题并压缩模型规模;在两个公开数据集上识别性能优于现有 SOTA,各核心模块均对识别效果存在增益。

感知不一致性的多模态生理信号融合情绪识别

ReferenceLi, J., Chen, N., Zhu, H., Li, G., Xu, Z., & Chen, D. (2024). Incongruity-aware multimodal physiology signals fusion for emotion recognition. Information Fusion, 105, 102220.

基于腕部皮肤电活动与机器学习的压力检测

本研究探究消费级可穿戴设备采集的腕部皮肤电信号用于压力二分类检测的可行性,同时对比不同特征方案、分类器以及多模态融合的识别效果。

利用多套公开数据集,使用 cvxEDA 分解信号,分别采用原始信号与手工提取特征,在多种轻量机器学习模型上开展跨被试实验,还对比了单模态与多模态融合的识别效果。

实验证明腕部 EDA 可有效识别压力,随机森林与 SVM 表现更优;女性样本识别效果更好,且单独使用 EDA 的识别性能整体优于 ECG、PPG。

基于腕部皮肤电活动与机器学习的压力检测

ReferenceZhu, L., Spachos, P., Ng, P. C., Yu, Y., Wang, Y., Plataniotis, K., & Hatzinakos, D. (2023). Stress detection through wrist-based electrodermal activity monitoring and machine learning. IEEE Journal of Biomedical and Health Informatics, 27(5), 2155-2165.

面向视觉-生理融合的自发多模态微表情数据集

本研究针对现有微表情数据集缺少同步生理信号的局限,构建一套多模态微表情数据集,并开展微表情识别与检测的基准验证实验。

采用 CMRR 实时提醒范式诱发自发微表情,硬件同步采集人脸视频、脑电及多种外周生理信号;完成专家标注后,开展微表情-生理耦合统计分析、单模态与多模态的识别及检测对比实验。

实验证实微表情与多种生理信号存在时序耦合关系;多模态融合相比单模态可提升微表情识别精度;基于心率斜率的过滤模块能够有效降低微表情检测的假阳性。

面向视觉-生理融合的自发多模态微表情数据集

ReferenceMa, C., Pei, Y., Zhang, J., Zhao, S., Ji, B., Xie, L., ... & Yin, E. (2025). MMME: A spontaneous multi-modal micro-expression dataset enabling visual-physiological fusion. Information Fusion, 104038.

基于多模态生理推理实现急性心理压力追踪

本研究针对现有压力检测多依赖单一生理特征的不足,提出结合多模态交叉派生特征与集体变分推理的算法,实现急性心理压力的连续推断。

采用心算、N-Back、Stroop 色词任务诱发急性压力,同步采集六路生理信号,提取单模态与跨模态派生特征;使用留一被试验证,对比传统单特征、普通汇集统计、逻辑回归等基线方法。

多模态交叉派生特征效果优于传统心率、皮肤电单指标;集体变分推理可在保持分类精度的同时显著提升推理置信度,实现高可靠的急性压力二分类识别。

基于多模态生理推理实现急性心理压力追踪

ReferenceZhou, Y., Mousavi, A. S., Chalumuri, Y. R., Parreira, J. D., Modak, M., Sanchez-Perez, J. A., ... & Hahn, J. O. (2024). Inference-enabled tracking of acute mental stress via multi-modal wearable physiological sensing: A proof-of-concept study. Biocybernetics and Biomedical Engineering, 44(4), 771-781.

安全应急管理

4 个科研案例

探索警察在危险紧急情况下的生理反应

本研究利用 VR 模拟真实的恐怖威胁场景,并增加气味、疼痛、热量和风,检查多感官增强对警察压力和风险情况感知的影响。

研究共包括 50 名警察,警察将背靠背完成两个场景,分别为广场暴力和恐怖爆炸,在此过程中实时记录脑电、心电和皮肤电数据。

研究发现警察在爆炸情况下的感知威胁有所增加。当可能的危险元素与多感官元素一起增强时,威胁和压力也会更高,这表明未来的培训不仅需要添加任何多感官提示,还必须增加表示引起威胁的属性(例如爆炸情况下的热浪)。

探索警察在危险紧急情况下的生理反应

ReferenceUhl, J. C., Murtinger, M., Zechner, O., & Tscheligi, M. (2022, October). Threat assessment in police VR training: multi-sensory cues for situation awareness. In 2022 IEEE International Conference on Metrology for Extended Reality, Artificial Intelligence and Neural Engineering (MetroXRAINE) (pp. 432-437). IEEE.

大学生应急能力及其影响因素的实验研究

本研究使用 VR 技术,构建虚拟大学火灾、地震场景,探究在不同灾害场景下不同应急能力水平的大学生的生理心理差异。

实验前被试需要完成应急知识技能调查表和心理症状自评表。实验要求被试尽快在 VR 系统中分别从校园火灾和地震场景中逃离,同时记录被试在实验前中后的皮肤电、呼吸和心率等生理数据。实验结束后被试需要填写虚拟现实系统主观评估量表。

研究发现,参加过应急演练的被试呼吸频率显著高于未参加过应急演练的被试;且学生对应急知识的学习渴望、对应急知识的兴趣会影响其处理突发事件的能力。

大学生应急能力及其影响因素的实验研究

ReferenceWang, X., & Li, Y. (2023). Experimental research on college students' emergency ability and its influencing factors in virtual emergency situations. Emergency Management Science and Technology, 3(1).

矿工应急行为胜任力的生理信号预测

针对矿工应急能力评估过度依赖主观问卷、无法反映灾害应激真实水平的问题,本研究结合 VR 仿真与多模态生理信号,构建矿工应急能力分级预测框架。

构建多类矿井事故 VR 仿真场景,采集行为与生理数据;通过无监督-半监督聚类生成能力标签,利用 Stacking 集成学习实现预测,并借助 SHAP 做模型可解释性解析。

Seeded K-Means 聚类性能最优,Stacking 集成模型分类准确率达 86.55%;皮肤电、心率变异性是判别应急能力等级的核心生理指标。

矿工应急行为胜任力的生理信号预测

ReferenceYanyu, G., Jizu, L., Cliff, D., & Huayun, D. (2025). Classification and Prediction of Miners' Emergency Response Competence Under Sudden Events Based on Seed k-Means and Stacking Learning Algorithm. Engineered Science, 38, 1877.

铁路隧道模拟火灾下基于多源信息的人员疏散行为研究

针对现有铁路隧道疏散研究缺少真实场景下生理-心理-行为耦合实测数据的问题,本研究通过实车模拟火灾疏散实验,探究不同疏散策略下人员的多源响应规律。

在真实隧道设置车内单侧、车内双侧、下车疏散三类工况,利用视频、可穿戴手环、主观问卷同步采集人员疏散行为、生理、心理数据,采用非参数检验开展多组对比分析。

双侧疏散可提升疏散效率并降低恐慌与生理应激;车门是疏散瓶颈会诱发强烈生理心理反应;适度警觉状态能够提升人员疏散速度,乘务引导可有效缓解负面情绪。

铁路隧道模拟火灾下基于多源信息的人员疏散行为研究

Reference韩得民, 谢宝超, 林书翔, 陈沛桢, 周丹, 范超杰, 彭勇, & 梁习锋. (2026). 基于多源信息分析的铁路隧道模拟火灾环境下人员疏散行为研究. 铁道科学与工程学报, 23(8), 4032-4045.

脑机接口与自然人机交互

4 个科研案例

基于可穿戴惯性传感器信号的协同工业机器人柔性遥操作

本研究提出了一种新型的可穿戴惯性传感器信号控制系统,用于协同工业机器人柔性遥操作,通过识别操作员上肢运动方向实现机械臂系统遥操作功能。

系统利用穿戴式惯性传感器捕捉操作员手臂动作,通过机器人、传感器、操作员的坐标体系校准,以及操作员的手臂相对运动的机器人末端执行器转换等一系列算法开发,将惯性传感器信号转化为运动指令,控制工业机器人执行一些指定的操作。

基于操作员上肢惯性传感器运动数据的机械臂运动控制更加安全稳定,为基于人体手势识别的遥操作系统提供了多样化的技术路线。

基于可穿戴惯性传感器信号的协同工业机器人柔性遥操作

ReferenceŠkulj, G., Vrabič, R., & Podržaj, P. (2021). A wearable IMU system for flexible teleoperation of a collaborative industrial robot. Sensors, 21(17), 5871.

神经及生理数据驱动的自适应交互

本研究提出沉浸式展厅与用户内隐情感波动同步的无操作动态交互,实现多模态用户生理感知、情感实时解码、深度强化学习决策控制、空间执行调节指令的实时反馈闭环,将用户情绪变成系统输入进行环境参数调节。

使用公开数据集(MAHNOB-HCI、DEAP)的 EEG、ECG、GSR、眼动数据进行情感解码,提取特征,利用 SAF-Net(分层注意力融合网络)做特征融合——在注意力特征融合时考虑情感生理响应的时序特点,采用双池化交叉注意力策略分别捕捉特征的缓慢基线变化及瞬时变化——并识别情绪效价(准确率 92.7%)与唤醒(准确率 93.5%)。

使用观众情感(瞬时状态 & 变化趋势)、行为变量、当前环境参数进行模型验证;采用 DRL-ADT 深度强化学习控制策略,通过奖励函数动态调节环境参数,使环境参数有利于维持用户的适度唤醒与低情绪波动。

神经及生理数据驱动的自适应交互

ReferenceLi, S., & Ye, Y. (2026). Adaptive optimization and interaction method for immersive exhibition space experiences integrating multimodal physiological sensing. Discover Artificial Intelligence, 6(1), 1160.

多模态手环用于手部意图检测的传感器融合研究

针对单一表面肌电手势解码易受干扰、鲁棒性不足的问题,本研究开发一款集成 sEMG、FMG、IMU 的共置式可穿戴手环,探究多传感器融合对手势识别的提升效果。

受试者佩戴该多模态手环完成多种预设手部手势,采集多源生理运动数据,提取时域特征,使用随机森林分类器分别测试单模态与多模态组合的手势识别效果。

全部三模态融合取得最高识别精度 92.3±2.6%,相比单 sEMG、单 FMG 可分别降低 37%、22% 误分类;静态任务下 IMU 单独或简单叠加不会带来性能增益,sEMG 与 FMG 信号具备信息互补性。

多模态手环用于手部意图检测的传感器融合研究

ReferenceAndreas, D., Hou, Z., Tabak, M. O., Dwivedi, A., & Beckerle, P. (2024). A multimodal bracelet to acquire muscular activity and gyroscopic data to study sensor fusion for intent detection. Sensors, 24(19), 6214.

基于智能手表的多模态姿态跟踪实现普适机器人控制

针对专业动捕设备成本高、光学动捕受视线约束的问题,本研究提出开源 WearMoCap 框架,利用消费级手表、手机 IMU 实现手臂姿态解算,用于机器人控制。

设计仅手表、上臂绑定手机、口袋放置手机三种工作模式,使用 LSTM 与可微卡尔曼滤波做姿态估计;依托光学动捕真值数据集完成验证,并开展物体交接、遥操作、无人机操控等真实机器人任务测试。

上臂绑定手机模式精度最优,任务误差相比光学金标准小于 2 cm;口袋模式支持身体自由转动,仅手表模式部署最简单但精度最低,整套系统可作为低成本动捕替代方案。

基于智能手表的多模态姿态跟踪实现普适机器人控制

ReferenceWeigend, F. C., Kumar, N., Aran, O., & Ben Amor, H. (2025). WearMoCap: multimodal pose tracking for ubiquitous robot control using a smartwatch. Frontiers in Robotics and AI, 11, 1478016.

获取方案 · 需求对接

想了解与您方向接近的案例?

告诉我们研究方向或行业场景,我们会提供对应案例资料与选型建议。

  • 一对一沟通,不做电话骚扰
  • 可按研究方向定向提供案例
  • 支持样机演示与实验室试用

索取案例资料

请填写以下信息,我们会尽快与您联系。

提交即表示同意我们与您联系。信息仅用于业务沟通,不会对外提供。