MAC-Lab实验室黄雅婷同学在期刊《Frontiers in Psychiatry》（专刊：Digital Mental Health）上投稿的论文《Measuring mental states and personality based on real-time physical activity and facial expression recognition 》已被接收。

为了探索一种快速和非侵入性的方法来测量个人的心理状态，本研究开发了基于SCL-90的半开放式访谈量表（IPSI）。并最终纳入172名参与者的多模态信息，主要包括参与者的SCL-90，BFI-2心理量表和访谈视频数据。我们开发的IPSI最终保留了53个项目和9个主要因素，所有的项目的信度效度均表现良好。研究使用了优化的卷积神经网络来识别基于Russell的环形模型的个人面部表情——唤醒度和效价。使用原创检测算法识别个体的时序性肢体活跃程度信息。研究发现，参与者的IPSI各因子得分与SCL-90、BFI-2量表各因子得分之间存在着显著相关性，Cronbach's α = [-0.257,0.632]。在多模态数据之间，面部表情的唤醒与有效区间显著相关（p <0.01），效价与IPSI和SCL-90显著相关，身体活跃程度与性别、年龄和量表得分等因素有关。

我们的研究表明，心理健康可以通过收集和分析多模态数据进行远程监测和评估，数字工具捕捉到的个体的多模态数据，同样可以远程监测和评估心理健康。