实验室王佳敏、陈倩同学在孙晓教授指导下,在IEEE Transactions on Computational Social Systems上发表论文Information-Enhanced Hierarchical Self-Attention Network for Multi-Turn Dialogue Generation。
Transformer结构在多轮对话生成中显示出良好的效果。自注意力机制可以学习全局依赖关系,但忽略了局部信息,这限制了模型对上下文信息建模的能力。本文提出了一种信息增强的分层自注意网络IEHSA。在词级编码器中,连续窗口中的单词被编码为局部信息,句法相关的单词被编码为句法信息,两者都用来增强单词信息,然后输入到自我注意机制中。在话语级编码器中,相邻的话语表示被编码为对话结构信息,并利用自我注意机制更新话语表示。然后使用解码器中的自我注意机制更新上下文和屏蔽响应表示。最后,计算上下文和应答之间的相关性,并用于进一步的解码。我们将IEHSA与目前流行的层次模型在4个数据集上进行了比较,实验表明,本文提出的方法在基于指标的评估和人工评估两方面都有显著的改进。
IEEE Transactions on Computational Social Systems专注于从定量和/或计算角度对社会系统的建模,模拟,分析和理解等主题。目前已被SCIE、ESCI、EI、Scopus等重要数据库收录。