标签: 论文阅读


  1. 【论文阅读】SentiBERT: A Transferable Transformer-Based Architecture for Compositional Sentiment Semantics (ACL 2020)

    Task Sentiment Analysis 树结构 Constituency tree(句法树),用句法规则,递归的构建出树的结构来表示一句话,其只有叶子结点与输入句子中的词语相关联,其他中间结点都是标记短语成分。 Dependency tree(依存树),用单词之间的依存关系来表达语法。如果一个单词修饰另一个单词,则称该单词依赖于另一个单词。 Motivation The sentiment of an expression is determined by the meaning…

    论文阅读阅读全文

  2. 【论文阅读】Graph Neural News Recommendation with Unsupervised Preference Disentanglement (ACL 2020)

    Task News Recommendation:给定一系列成对的user-news的数据,表示user之前看过news,预测对于一个未见过的news,user是否会看。 Motivation 之前的做News Recommendation的方法通常的关注点是以下几类: 充分利用用户的历史信息,做personalized News Recommendation 利用文本内容,得到user和news的好的表示 利用外部知识 利用topic信息 本文方法: 考虑高阶的user-news之间…

    论文阅读阅读全文

  3. 【论文阅读】Explainable and Discourse Topic-aware Neural Language Understanding (ICML 2020)

    Task Language modelling,计算一个序列的概率,这篇论文的一个任务就是预测下一个词。 Motivation LM一般做的是sentence-level的,但是有的时候全文的信息对当前句子的预测也很重要。如果输入的是document,做document-level LM,由于LM一般是RNN的总是,对于超过200个词的文本仍然存在之前信息遗忘的现象,所以就有人提出向LM里加入TM的信息来加入全文的信息。之前的方法一般加入的都是文本的topic distribution,忽略了…

    论文阅读阅读全文

  4. 【论文阅读】Topic model + 监督任务论文小结

    Topic-Aware Deep Compositional Models for Sentence Classification(2017) 2017年的一篇文章,还没用到NTM,是pre-train的TM。论文整体不复杂,就是对于一个单词同时使用pre-train的word embedding和TM得到的topic embedding(这个是word的topic embedding,维度为1 * K)。然后输入到一个deep compositional model得到最终表示。mult…

    论文阅读阅读全文