多模态数据同步采集与分析系统
目前已接入 30 多款设备,实现脑电、近红外、心电、肌电、脉搏、皮肤电、眼动轨迹、面部表情、语音、姿态等 10 多种数据的同步采集和事件标记。实验过程中的关键事件(如开始/停止播放视频、刺激呈现、用户反馈)自动与多模态数据进行时间同步。系统同时提供基于Eprime、Matlab、Pyhton、 Java、C、C#、C++等程序的打点事件交互接口,实现第三方自动打点。数据分析支持各类电生理信号、视音频数据的预处理和特征提取,构建具有先验知识的多模态指标体系。同时可以接入第三方绩效与环境数据。
- 脑电、近红外、心电、肌电、脉搏、皮肤电等多模态数据同步采集
- 实验管理、数据管理、数据分析与数据导出在同一平台完成
- 提供标准化开发接口,采集结果可直接进入常用分析工具
产品演示视频核心痛点
多设备实验最耗时的往往不是采集本身,而是采集之后的对齐与整理。
十几台设备,十几套时钟
脑电、眼动、生理各自记时,事后靠人工挑事件点对齐,误差多大无从校验。
新设备进来就要重写一遍接口
厂商 SDK 各不相同,实验室每添一台设备,就多一套采集脚本。
采完先花几周做表格
原始文件分散在各台电脑,命名与目录各不相同,归档全靠手工。
只有某个人会跑这套流程
流程留在个人经验里,人一换就要重新摸索,课题交接成本高。
设备统一接入、统一时间基、统一管理与导出——把「多套软件 + 人工对齐」换成一条流水线,新设备接进来只加配置,不改流程。
核心优势
三条核心价值,对应实验室最常遇到的三个断点。
-
设备接入灵活
基于科研仪器SDK的深度接入,实现多设备同步控制、采集与打点。支持自有设备、任务、事件API的个性化接入
-
完全自主知识产权
中国科学院心理研究所科研转化成果,支持 30 多款国外主流科研设备以及国产化脑电、眼动仪等采集设备的接入
-
专业数据分析培训
由中国科学院心理研究所组织国内相关领域专家,开办面向电生理信号、眼动轨迹等多模态数据分析的培训课程与技术指导
产品构成
从实验管理到数据接口,构成一条完整的实验室数据流水线。
实验管理
实验管理模块主要用于实验前主试对实验设备、关键打点信息进行配置维护。在此模块主试可新增实验(自定义实验名称)、选择所需的采集设备并设置采样率、自定义手动打点事件名称和数量,管理和编辑实验。

同步采集
实验中主试对设备运行状态、 数据异常情况、被试状态进行实时监控。
在此模块主试可以创建被试,选择预先创建的实验并开始。在同步采集界面可以查看设备搜索与连接、采集状态,支持采集前的数据预览,采集支持独立的开启和结束,方便主试调试,确保设备佩戴到位。采集过程支持数据监控、手动与自动事件标记(刺激呈现系统的任务打点和第三方接口打点)。

接入硬件







脑电
- 支持品牌:Neuroscan,ANT Neuro eego,博瑞康,臻泰
- 电极导数:单台主机支持 8/16/24/32/64/128/256 导
- 数据传输:支持有线、无线两种方式
- 便携式设计,放大器吸附在脑电帽上
- 电极形态:支持干电极、湿电极、盐水电极
- 支持多台脑电设备的同步采集(超扫描)






眼动仪
- 支持品牌:七鑫易维,Tobii,Smarteye
- 设备类型:桌面式眼动仪、眼镜式(可搭配矫正镜片)、VR 眼动仪
- 帧率/采样率:桌面式 100–2000Hz;眼镜式 30–60Hz(手机)、60–500Hz(PC);VR 眼动模组 30–240Hz
- 支持任意尺寸标准显示器,也可按真实场景下人机界面尺寸定制桌面式眼动仪






近红外
- 支持品牌:岛津,依瑞德,心灵方舟
- 通道数:单台主机支持 8/24/37/53/63/72 通道
- 通道位置:用户可自定义全脑任意位置
- 采样率:0–500Hz 可自由设置
- 支持多台近红外设备的同步采集
- 支持 EEG-fNIRS 的同位联合使用





生理多导仪
- 支持品牌:Biopac
- 可同步采集脉搏、呼吸、皮肤电、肌电、皮温、血氧等多项指标
- 单主机系统支持 16–64 通道
- 采样率最高可达 400KHz
- 与各种放大器采用直接插拔方式连接,无需连接电缆







动作捕捉
- 支持品牌:Xsense,诺亦腾,凌云光,度量
- 支持光学式、惯性式两种动捕设备
- 惯性动捕:传感器数量 17–28 个
- 光学动捕:摄像机 4–16 个,最高分辨率 2600 万像素,最高频率 380 FPS
- 支持多人同时进行动作捕捉




肌电
- 支持品牌:ANT Neuro eego,博瑞康,臻泰
- 单机支持 4/8/16 通道
- 采样率 100/250/500/1000Hz,可自由设置
- 支持与脑电、眼电、心电等数据的同步采集


手环
- 多模态人因感知终端:腕式设计,同步采集脉搏、皮肤电、皮肤温度、运动加速度、角速度、温度、湿度、气压 9 种数据;脉搏波采样率 ≥100Hz,皮肤电 ≥4Hz,皮肤温度 ≥1Hz,六轴加速度 ≥20Hz,温度、湿度、气压 ≥1Hz

动态心电记录仪
- 动态心电记录仪:柔性贴片式设计,支持实时心电监测与异常心率报警提示,支持实时传输和离线存储

运动心率带
- 运动心率带:胸带式设计,实时心率与最高、平均心率动态监测,训练模式续航最高可达 400 小时

血氧监测仪
- 血氧监测仪:指尖式设计,持续监测血氧水平并支持低血氧振动预警;血氧饱和度精度 80%–99%:±2%,70%–79%:±3%

睡眠体动监测仪
- 睡眠体动监测仪:放置在枕头、床垫、座椅下使用,提供人体振动体征数据的动态采集,用于睡眠质量监测,传感器尺寸可定制



摄像头
- 可连接多种网络摄像头,实现不低于 400 万像素的视频采集,主码流帧率 50Hz:25fps(2560×1440 / 1920×1080 / 1280×720),视频压缩标准 H.265/H.264,码率 32Kbps–8Mbps

拾音器
- 360° 全向麦克风,半径 5m 以上拾音范围,灵敏度不低于 -38dBv,信噪比不低于 66dB,频率响应 100Hz–8kHz,支持 USB 连接,音频采样率 16/32/48kHz
数据管理
数据管理模块提供原始数据、特征数据、打点数据的导出、导入。数据记录以列表形式展示,可根据实验名称、被试ID、采集时间、是否含有效数据等方式进行快速筛选,找到目标实验与目标数据。

数据导出
用户可选择同一实验的多条数据批量导出,并且导出的所有设备数据会与打点事件同步融合。导出时可自定义导出文件名称。

开发数据接口
-
外部打点事件接口
便于其他平台将业务需要的打点事件同步到本系统中,用于给本系统采集的设备数据做好事件标记
-
外部绩效数据接口
支持类似模拟器等训练平台上的训练绩效数据上传到本系统,实现绩效数据的融合采集与分析
-
多模态原始数据接口
以标准API方式实时输出所有采集的原始数据到第三方平台
-
打点事件数据
以标准API方式实时输出所有打点事件数据到第三方平台
运作机制
建实验、接设备、同步采集、管理导出,五个环节共用一条数据流水线。
建立实验
创建实验、被试与分组,设置采集方案与分析目标。
接入设备
按设备类型接入脑电、眼动、生理等硬件,统一通道配置。
同步采集
以统一时间基同时采集多模态数据,过程中可打点标记。
数据管理
结果按实验与被试归档,支持回看、标注与批量整理。
导出与分析
导出原始数据与事件标记,或直接使用内置分析参数。
选型对比
与「多套软件 + 人工对齐」相比,差别集中在接入、对齐与出口三处。
对比为选型参考,接入设备清单以实际支持列表为准。
