实验室成员黄杰、郑仕鑫、饶轩衡同学在孙晓教授的指导下在IEEE Transactions on Image Processing上发表论文:“Personality Assessment based on Multi-Modal Attention Network Learning with Category-based Mean Square Error”。
人格分析被广泛用于职业能力测试和入学心理测试中。然而,一次回答数百个问题似乎是一种负担。受人格心理学的启发,我们提出了一种基于类别的均方误差(CBMSE)的多模态注意力网络,用于人格评估。通过这种方法,我们可以从一个人的日常视频中获得他的行为信息,包括他的目光分布、言语特征和面部表情变化,从而准确判断人格特征。特别是,我们提出了一种新的方法来实现基于面部不感兴趣区域(RoNI)的注意力机制,它可以达到更高的准确性,并减少网络参数的数量。同时,我们使用CBMSE,一个对人格评估中的模糊边界有较高惩罚的损失函数,来帮助网络区分边界数据。经过有效的数据融合,该方法在与ECCV 2016相关的ChaLearn Looking at People挑战赛的数据集上实现了92.07%的平均预测精度,高于其他最先进的模型。
IEEE Transactions on Image Processing是图像处理领域顶刊,专注于图像处理、成像系统和图像扫描、显示和打印的信号处理方面。