电子信息工程领域多模态智能信息处理

客户介绍：

太原理工大学电子信息工程学院依托学校雄厚的工科实力，学科建设成效显著，拥有山西省重点实验室1个、山西省工程研究中心1个、山西省科技创新重点团队2个等多个科研平台，组建了“神经计算与脑机智能”“智能感知与决策”等多个特色科研团队。

学院围绕国家发展战略和地方经济转型需求，科研成果丰硕。近5年，共承担各类科技项目200余项；获省部级自然科学奖、技术发明奖等各类奖项6项；授权国家发明专利50余项；发表学术论文600余篇，其中被SCI收录200余篇，在脑机智能、智能感知与信息处理等领域取得多项重要突破，部分成果被人工智能领域国际顶级会议及期刊收录，为电子信息工程领域的技术创新提供了有力支撑。

研究方向：

专注于电子信息工程领域的多模态智能信息处理方向，面向人机交互、认知计算与生理信号智能分析等关键应用场景，依托多模态认知负荷诱发与分析实验平台、多生理行为采集与分析系统等一系列软硬件平台，重点开展多源异构生理与行为信号的融合感知、特征提取与分析研究，攻克跨模态信息互补与协同分析的核心技术。

多模态智能信息处理是推动人机交互、认知计算产业发展的核心支撑，该研究可实现认知负荷动态评估、情绪状态连续识别等关键功能，突破传统单一信号分析的局限性，提升信号分析的准确性与全面性，利用深度学习与模式识别方法实现跨模态信息互补。对推动电子信息工程、人工智能、脑机智能等领域的技术升级，促进相关产业高质量发展具有重要意义。

交付内容：

多模态认知负荷诱发与分析实验平台一套，包含各类软硬件采集与分析系统，具体如下，为多模态信号的采集、分析与研究提供全流程支持：

1.  多生理行为采集与分析系统：便携式多传感器数据采集设备（手环形态），集脉搏、皮电、体温、加速度、角速度、磁力计、气温、气压、湿度9个传感器为一体用于生理行为数据的无创、连续采集与自动化分析，支撑认知负荷、情绪状态等相关研究。

2.  面部表情采集与分析模块：用于实时采集面部表情数据，通过特征点识别与指标分析，支持 68 个面部特征点识别与定位；自动分析眼睛纵横比、瞳孔圆度、眨眼频率、闭眼时间、打哈欠次数等指标；可计算部分面部动作单元强度，提供可信度分析。

3.  16导脑电采集与分析系统：高同步精度的无线脑电采集设备，用于捕捉脑电信号，分析与认知负荷、情绪相关的脑区活动特征。支持重采样、重参考、滤波降噪、独立成分分析（去除眼电、眨眼等伪迹）、时频分析等数据处理；自动分析前额叶、额叶等多个脑区的 Delta、Theta、Alpha 等多个频段功率及功率谱密度，支持不少于 3 种频带功率比值分析；可绘制时频图、脑电拓扑图。

4.  桌面式眼动分析系统：用于追踪眼部运动，采集眼动数据，分析个体视觉注意分配、认知负荷相关的眼动特征。自动分析不少于 10 种基础眼动特征（微眼跳幅度、注视持续时间、扫视次数等）；输出眼动轨迹图、热区图，可视化展示注视位置与注意分布；支持单个 / 多个 AOI 区域分析，计算总注视时长、注视密度等不少于 20 项关键指标；支持不少于 10 种对认知负荷敏感的眼动特征组合分析。

5.  认知负荷诱发与任务管理系统：一站式认知负荷诱发与实验管理平台，用于标准化开展认知负荷相关实验，实现任务呈现、数据联动与流程管控。内置 MATB 模拟作业任务，可通过设置子任务难度和数量，诱发低、中、高三种不同水平的认知负荷；支持关键事件自动 / 手动打点，实现与多模态数据的时间序列对齐融合；内置标准化实验流程；包含多种标准化测评模块和主观问卷量表。

6.  多模态数据同步采集系统：多模态数据集中管理与自动化分析平台，实现数据整合、特征提取与高效处理。多设备协同采集控制平台，实现各类采集设备的数据同步，为多模态数据融合分析提供基础。通过接入设备 SDK，一台电脑即可同步控制所有采集设备；支持事件自动打点与自定义手动打点，保障所有模态数据毫秒级同步对齐；开放数据接口，支持 Eprime、Matlab、Python 等多种程序的打点事件交互，可实现第三方程序自动打点；实时监控原始数据采集过程，同步下发事件标记。

7.  多模态数据管理与分析系统：集中管理多个同步采集系统的原始数据，按实验名称、被试信息等分类展示，支持批量导出与格式选择；实验过程中可实时计算并展示脉搏、脑电、眼动等数据的部分先验特征；支持多模态数据一键处理分析，导入算法配置文件后可生成特征向量；实现所有模态数据与打点事件的时间自动对齐、同步融合；支持自定义参数配置（如滤波频率、时频分析方法等）。

8.  无线多通道肌电采集与分析系统：支持不少于16种时域特征的分析，如均方根、平均绝对值、简单平方积分、对数、波形长度、过零点次数、振幅等；支持不少于4种频域特征的分析，如平均频率、中位数频率、最大功率对应频率、肌电功率谱平均功率等

9.  语音情绪采集与分析模块：支持情绪效价、唤醒度以及快乐、悲伤、愤怒、惊讶、恐惧和厌恶等不少于6种情绪状态的自动分析