MAC-Lab实验室张梓洋同学在期刊《Pattern Recognition Letters》上发表论文《MAN: Mining Ambiguity and Noise for Facial Expression Recognition in the Wild》。

       由于标注者的主观性以及表情的模糊性，人脸表情识别数据集中存在着大量的模糊标签（ambiguous annotation）和噪音标签（noisy label）。由于模糊标签对应的样本通常汇集在决策边界（decision boundary）上，对模型来说是难以学习的；噪音标签在有监督学习的场景下会使得模型出现过拟合现象甚至无法收敛。这两类表情严重影响了人脸表情识别（FER）模型的识别准确率和鲁棒性。此前的SOTA方法采用不确定性学习（Uncertainty Learning）来抑制不确定性样本。然而这类方法忽视了模糊表情与噪音表情的区别，使得模型偏向于简单易学的样本（easy sample），从而导致对困难的样本（hard sample）的泛化性不佳。

       为了解决上述问题，我们提出了一种新的方法（MAN）来挖掘FER数据集中的模糊表情和噪声表情。我们的方法有两个核心模块：协同划分模块（co-division）和三方面规范化模块（tri-regularization）。前者基于两个网络的预测和给定标签之间的一致性和不一致性，将数据集划分为干净、模糊以及噪音三类表情；后者对三类表情分别采用监督学习（Supervised Learning）、相互学习（Mutuality Learning）以及无监督一致性学习（Unsupervised  Consistency Learning）策略。大量的实验证明，我们的方法能够有效的挖掘出模糊表情和噪音表情，并通过合理的约束显著提高了模型的泛化能力，在噪音数据集以及原始数据集上都取得了SOTA的表现，其中在RAF-DB、AffectNet和FERPlus上分别取得了90.25%、62.47%以及89.86%的准确率。