Topic model + 监督任务论文小结

Topic-Aware Deep Compositional Models for Sentence Classification(2017)

topCNN

2017年的一篇文章,还没用到NTM,是pre-train的TM。论文整体不复杂,就是对于一个单词同时使用pre-train的word embedding和TM得到的topic embedding(这个是word的topic embedding,维度为1 * K)。然后输入到一个deep compositional model得到最终表示。multisense这个词用的觉得新鲜。

Topic Memory Networks for Short Text Classification(EMNLP 2018)

TMN

不知道是不是第一篇,但是一开始看到这篇论文的时候觉得想法挺好的。将TM+MN的方式来引入topic,并且将文档的topic distribution加到attention weight上面,结构和引入的方式融合的挺好,而且还开源了代码。不过论文方法部分与实际代码有出入。

Heterogeneous Graph Attention Networks for Semi-supervised Short Text Classification(EMNLP 2019)

这是EMNLP 2019的一篇文章,任务是半监督的短文本分类。由于短文本信息量少,而且通常标注的数据也不多,所以这里提出了一种Heterogeneous Graph Attention Networks。这个包括三种类型的节点:文档、topics、entities,其中topics是用LDA预先得到的,并把它作为节点,然后针对每个文档选top K个topics,并将他们相连。然后对网络进行更新。

Topic Tensor Network for Implicit Discourse Relation Recognition in Chinese(ACL 2019)

TTN

如果说有的论文还尝试用attention将topic representation加入到semantic representation的提取过程中,这篇论文基本将topic representation和semantic representation提取的过程分开了。他用的STM、GCN和FIN我都不是很了解。我的理解是用STM得到raw topic representation,GCN得到raw semantic representation,然后用FIN进一步提取特征并分类。

Multi-Task Mutual Learning for Joint Sentiment Classification and Topic Detection(2019)

Latent Topic Attention for Domain Classification(INTERSPEECH 2019 CCF-C类期刊)

LTA

一般通过attention加入topic information都是通过vector使用类似于QKV的attention计算来得到。但是这篇论文不同,他根据topic-word矩阵定义了word的权重。但是这样对于所有文本一个word的权重都是不变的。

Neural Topic Model with Attention for Supervised Learning(PMLR 2020)

TAM

看着像是一篇好论文,但是其中NTM部分由于我对TM不熟跳过去了……

What Changed Your Mind: The Roles of Dynamic Topics and Discourse in Argumentation Process(WWW 2020)

DTDMN

这个模型也是完成论辩相关的任务。右下角的AFE就是一个topic model,然后通过设计了一个门操作来得到表示,比起attention见的还是少一点,不过在修改LSTM encoder门的操作还是挺常见的,但这个图画的挺好。

A CLSTM-TMN for marketing intention detection(Engineering Applications of Artificial Intelligence 2020 CCF-C类期刊)

CLSTM-TMN

要不是我看过“Topic Memory Networks for Short Text Classification”我还真的以为这是个Novel的方法。这两个除了任务不同大差不差。

Document and Word Representations Generated by Graph Convolutional Network and BERT for Short Text Classification(ECSI 2020 CCF-B类会议)

这篇论文处理的还是短文本的问题。针对短文本信息不足的问题,使用GCN来丰富信息。他的主要的创新点在graph的构建部分。graph共有3类节点:单词、文档、topic,边有的构建方式如下:

  1. 单词-单词:PMI
  2. 单词-topic:topic model的word-topic矩阵
  3. 单词-文档:TF-IDF
  4. 文档-topic:topic model的doc-topic矩阵

先用Bert得到特征,然后用GCN丰富特征并分类。

Topic-informed neural approach for biomedical event extraction(Artificial Intelligence in Medicine 2020 CCF-C类期刊)

JGATE

这篇论文做的任务是医学方向的任务,但是模型还是熟悉的模型。他这里将NTM的信息融合方法改成类一个基于gate的方法,将h和 theta 作为输入,计算过程有点像GRU,虽然图上是序列形式的,会有gate状态的传递,但是更新公式中实际上只有考虑i-1的输出y_(i-1),并没有考虑细胞隐状态h。