面部表情
实时捕捉与分析系统
通过先进的计算机视觉技术和机器学习算法，实现不少于 7 种情绪（高兴、愤怒、惊讶、恐惧、悲伤、厌恶、平静）和疲劳程度的实时检测，用于受试者心理状态的常态化监测、智能预警及报告自动生成。
- 实时识别 7 种情绪并给出置信度，同步输出可量化的疲劳程度
- 68 个面部特征点定位、17 个面部动作单元（AU）强度计算
- 离线动态追踪情绪变化，定位情绪切换转折点
- 集成多模态大模型，对长视频自动生成时间轴式结构化报告
产品演示图片核心痛点
情绪与疲劳的客观测量，卡在「谁来标、标得准不准、长视频怎么看」三件事上。
靠人看录像打标签
长时录像逐帧判读，几个人标出来的结果还不一致，一致性无从检验。
只有「高兴 / 不高兴」
缺少面部动作单元与强度，情绪变化没有可量化的中间过程。
几小时的录像没人愿意看
报告靠人工摘要，重点时刻容易漏，复盘成本高。
疲劳只能靠问卷
主观量表受被试配合度影响，缺少客观、连续的疲劳指标。
实时层逐帧输出 7 类情绪与疲劳度，离线层给出 68 个特征点与 17 个动作单元的量化序列，报告层用多模态大模型把长视频压成时间轴式结构化报告。
核心优势
三条核心价值对应实时、离线、报告三层能力；两条特点说明大模型带来的差异。
面部表情实时分析
68 个面部特征点、17 个面部动作单元、疲劳程度实时监测、7 种情绪状态实时监测、生理指标实时监测。
离线数据分析
针对多种情绪状态和疲劳程度的动态追踪与量化分析：主导情绪识别、复合情绪占比、情绪切换转折点、疲劳 / 清醒时长占比、眨眼 / 打哈欠次数。
可视化报告生成
集成多模态大模型，实现从视觉信号流到语义理解的端到端分析，对视频的关键帧进行场景-主体-行为的联合分析，生成专业级的疲劳状态和情绪表现的文本描述。
多模态大模型 · 端到端
对视频关键帧进行场景-主体-行为的联合分析，直接输出专业级的疲劳状态与情绪表现文本描述，无需人工逐帧判读。
结构化视频摘要 · 报告可读性强
具备对长视频进行概括性总结的能力，支持生成时间轴式的行为内容总结，将长时段视频压缩为结构化的可读性报告。
产品构成
摄像头 + 数据工作站两件硬件，配套实验管理、数据采集展示与数据管理三段软件功能。
摄像头 + 数据工作站
支持外置 USB 摄像头，或者电脑内置摄像头
| 摄像头参数 | 数值 |
|---|---|
| 最大分辨率 | 720p / 30fps |
| 像素 | 90 万 |
| 对焦类型 | 固定焦距 |
| 内置麦克风 | 单声道 |
| 对角线视野 | 55° |
| 数据工作站 | Pro 版 | 基础版 |
|---|---|---|
| CPU | I9 | I9 |
| 主频 | 5.4 GHz | 2.2 GHz |
| 内存 | 64 G | 32 G |
| 硬盘 | 2 T 固态硬盘 | 512 G 固态硬盘 |
| 显卡 | RTX 5090 | 独立显卡 |
← 表格较宽，可左右滑动查看 →
实验管理 · 数据采集展示 · 数据管理
软件功能 01实验管理
- 支持新建、编辑、删除实验
- 支持实验数据采集中的手动打点事件自定义键盘按键快捷键（单按键和组合按键）与事件标记名称（新增、修改、删除自定义打点事件）
- 支持创建被试 ID 与被试名称
- 支持选择实验、开始实验、结束实验
软件功能 02数据采集展示
- 支持独立开始记录、结束记录
- 支持数据采集过程中人脸视频数据以视频窗口实时动态展示
- 支持疲劳程度的实时检测：综合眼睑闭合、眨眼频率、PERCLOS、微点头频率等先验特征计算，输出可量化的疲劳程度
- 支持 7 种情绪的实时检测：高兴、愤怒、惊讶、恐惧、悲伤、厌恶、平静
- 支持数据采集过程中手动打点标记，实时同步显示在采集监控界面中
软件功能 03数据管理
- 支持所有实验数据的列表展示与查询
- 支持单个实验数据的报告展示
- 原始数据支持同一实验批量导出
- 支持报告查看与导出
运作机制
架好摄像头到导出报告，五个环节全程无需人工逐帧判读。
设备架设
外置 USB 摄像头或电脑内置摄像头对准被试面部，确认视野、距离与光照。
建立实验
新建实验与被试 ID，选择摄像头，自定义打点事件的快捷键与标记名称。
实时采集
人脸视频窗口实时展示，逐帧输出 7 类情绪概率、疲劳指数与 AU 强度。
事件打点
观察到关键行为时按键打点，事件标记同步显示在监控界面时间轴上。
报告与导出
结束记录后生成离线量化分析与时间轴式报告，原始视频与数据批量导出。
数据交付
报告样例取自真实长视频，量化输出与逐帧识别能力一并列出。
长视频 → 结构化、可读的时间轴报告
集成多模态大模型，先给出整段视频的概括性总结，再按时间分段给出行为内容描述
视频中人物全程保持静坐姿态，面部表情稳定，无明显情绪波动或剧烈动作，仅偶有嘴唇微张似在低语，头部轻微前倾，暗示专注或交谈状态。背景电脑屏幕内容基本不变，仅在最后 15 秒有轻微变化，未见主动操作。整体无疲劳或情绪起伏迹象，典型表现为长时间专注工作的场景，人物可能为远程会议或视频录制中的参与者，状态沉稳、专注，无明显压力或倦怠表现。
人物面部表情基本不变，无明显眨眼或皱眉。身体静止，无肢体动作。背景电脑屏幕内容未变，整体画面无显著动态变化。
16:00:32–16:02:33人物面部表情自然，嘴唇微张似在说话。身体前倾，头部略低，眼镜反光。背景电脑屏幕内容未变，无明显肢体动作或表情剧烈变化。
16:02:32–16:04:33人物面部表情平静，未见明显变化；无显著肢体动作；头部保持稳定，未有摇头或前倾后仰；整体姿态静止，处于视频片段中相对固定状态。
16:04:32–16:06:33人物面部表情自然，嘴唇微张似在说话，头部轻微前倾。背景电脑屏幕亮着，无明显肢体动作或显著表情变化。
16:06:32–16:06:45人物面部表情基本稳定，未见明显变化。身体无显著动作，保持坐姿。背景电脑屏幕内容有轻微变化，但人物无主动行为或姿势调整。
离线分析的量化输出
- 主导情绪识别
- 复合情绪占比
- 情绪切换转折点
- 疲劳 / 清醒时长占比
- 眨眼 / 打哈欠次数
逐帧输出情绪强度、疲劳程度与面部动作单元
采集界面同步呈现人脸视频、7 类情绪概率、疲劳指数、面部特征点与动作单元强度条，并支持手动 / 自动打点
7 种情绪实时强度
高兴、愤怒、惊讶、恐惧、悲伤、厌恶、平静，逐帧给出置信度并实时显示。
疲劳程度量化
综合眼睑闭合、眨眼频率、PERCLOS、微点头频率等先验特征计算，输出可量化疲劳程度。
面部动作单元强度
17 个面部动作单元实时强度条（如 AU6 抬高脸颊、AU12 微笑、AU5 抬高上眼睑、AU9 皱鼻子、AU17 抬高下巴）。
打点事件同步显示
支持手动打点标记，事件标记实时同步显示在采集监控界面的时间轴上。
选型对比
与「人工编码 / 通用视觉 API」相比，差别集中在粒度、连续性、长视频与报告四处。
对比为选型参考，识别类别与指标以实际交付版本为准。