【论文阅读】Knowledge-Enriched Transformer for Emotion Detection in Textual Conversations (EMNLP 2019)

Mikito -

Motivation

人们的对话中通常包含着很多情感信息。但是人们通常在对对话进行情感分析的时候具有如下两个特点：

  1. 考虑上下文的信息。
  2. 人们本身具有一定的commonsense knowledge，利用commonsense knowledge进行对话分析。

所以针对如上两个特点，本文提出了Knowledge-Enriched Transformer（KET）模型，该模型使用了层次的self-attention来得到文档的上下文关系，而且与之前方法不同，context和response分别作为encoder和decoder（bert 是将context和response进行concat，然后只用了encoder进行训练）。并且通过一个context-aware affective graph attention来加入commonsense knowledge。

Method

Transformer —— Attention is All You Need（https://arxiv.org/abs/1706.03762）：

Transformer的motivation之一是减少序列的计算开销，而且在一些情况下确实也比rnn、cnn好很多。

  1. 由于句子在encoder部分时不是序列性的，所以加入了position embedding表示当前词的位置信息。
  2. Multi-head attention是多个Scaled Dot-Product Attention叠加。
  3. Feed Forward：全连接网络，包括两个线性变换和一个ReLU激活输出。
  4. Decoder部分相较于encoder多了一个attention，这个attention将encoder的输出也作为一个输入。

KET model

  1. 知识库检索：
    使用的额外知识：
  • Commonsense knowledge base ConceptNet (Speer et al., 2017)：多语言的数据库，数据以三元组的形式存储<concept1, relation, concept2>，并且对这个三元组具有一个 [1, 10] 区间内的置信度打分。
  • Emotion lexicon NRC VAD (Mohammad, 2018a)：包括2w个左右的英语单词，每个词对应一个三元组，<valence (negative-positive), arousal (calm-excited), and dominance (submissive-dominant)>。
    针对每个非停用词词，从数据库中抽取出所有三元组得到对应的实体，去掉实体中的停用词和不在词表内的，再去掉置信度低于1的三元组，根据VAD词典查询得到每个实体的VAD三元组得分，构成新的三元组<实体，置信度，VAD>。
  1. Embdedding：
    对context和response中所有词得到word embedding和position embedding。对实体得到word embedding。
  2. Dynamic Context-Aware Affective Graph Attention
    由于不同的实体对当前词的影响不同，所以采用attention的方法对当前的实体进行加权来得到所有实体的总体表示。我们可以认为，一个重要的实体是和文本具有很强的关联性，并且要有一定的情感强度。所以在attention机制中考虑了相关性和情感性两个方面。
  • 相关性：对当前句子的单词进行hierarchical pooling得到句子的表示，对所有句子求均值得到当前对话的总体表示，通过计算当前的实体表示和这个的总体表示cos相似度得到实体的相关性。
    $$rel_k = min-max(s_k) * abs(cos(CR(X^i), c_k))$$
  • 情感性：根据单词的VAD值计算得到：
    $$aff_k = min-max(||V(c_k)-1/2, A(c_k)/2||_2)$$
  • 将相关性和情感性联合起来接softmax得到当前实体的attention weight，并加权求和得到实体的总体表示。
    $$w_k = \lambda_k * rel_k + (1-\lambda_k) * aff_k $$
  1. Hierarchical Self-Attention：
    将实体表示和word embedding concat作为输入，用一层transform encoder得到每个句子的表示，再输入到一层transform encoder得到当前context的表示。同样，在对response计算过程，类似于transformer 的decoder的部分。

Experiments

实验证明加入commonsense是十分有效的。对于每部分的参数和model analysis的实验也很充足。