Mikito


Hope is a dangerous thing, but I have it.


论文阅读


  1. 【论文阅读】Rethinking Attribute Representation and Injection for Sentiment Classification (EMNLP 2019)

    Task Sentiment Classification with attributes(user, product) Motivation 在情感分析中,一些文本自带的属性信息,如user(文本是谁写的)、product(文本是关于什么产品的)信息通常会对情感分析有一定 的帮助,所以最近的一些工作都会用他们来提升模型性能和增加可解释性。 但是,现有的很多方法都是使用注意力机制来进行外部信息的融合,具体的计算公式如下: $$ a = softmax(v^Te) $$ $$ e = tanh…

    论文阅读, MathJax阅读全文

  2. 【论文阅读】SentiBERT: A Transferable Transformer-Based Architecture for Compositional Sentiment Semantics (ACL 2020)

    Task Sentiment Analysis 树结构 1. Constituency tree(句法树),用句法规则,递归的构建出树的结构来表示一句话,其只有叶子结点与输入句子中的词语相关联,其他中间结点都是标记短语成分。 1. Dependency tree(依存树),用单词之间的依存关系来表达语法。如果一个单词修饰另一个单词,则称该单词依赖于另一个单词。 Motivation The sentiment of an expression is dete…

    论文阅读, MathJax阅读全文

  3. 【论文阅读】Graph Neural News Recommendation with Unsupervised Preference Disentanglement (ACL 2020)

    Task News Recommendation:给定一系列成对的user-news的数据,表示user之前看过news,预测对于一个未见过的news,user是否会看。 Motivation 之前的做News Recommendation的方法通常的关注点是以下几类: * 充分利用用户的历史信息,做personalized News Recommendation * 利用文本内容,得到user和news的好的表示 * 利用外部知识 * 利用topic信息 本文方法:…

    论文阅读, MathJax阅读全文

  4. 【论文阅读】Explainable and Discourse Topic-aware Neural Language Understanding (ICML 2020)

    Task Language modelling,计算一个序列的概率,这篇论文的一个任务就是预测下一个词。 Motivation 1. LM一般做的是sentence-level的,但是有的时候全文的信息对当前句子的预测也很重要。如果输入的是document,做document-level LM,由于LM一般是RNN的总是,对于超过200个词的文本仍然存在之前信息遗忘的现象,所以就有人提出向LM里加入TM的信息来加入全文的信息。之前的方法一般加入的都是文本的topic dist…

    论文阅读阅读全文

  5. 【论文阅读】Topic model + 监督任务论文小结

    Topic-Aware Deep Compositional Models for Sentence Classification(2017) 2017年的一篇文章,还没用到NTM,是pre-train的TM。论文整体不复杂,就是对于一个单词同时使用pre-train的word embedding和TM得到的topic embedding(这个是word的topic embedding,维度为1 * K)。然后输入到一个deep compositional model得到最终表示。mult…

    论文阅读阅读全文

  6. 【论文阅读】Aspect Sentiment Classification with Document-level Sentiment Preference Modeling (ACL 2020)

    Task Aspect Sentiment Classification (ASC) 例子:The restaurant has quite low price but the food tastes not good Price:positive Food:negative Motivation 通常的方法都是sentence-level的,即针对一个sentence,每次分析一个aspect的情感,各个sentence之间是互相独立的。但是实际上,sentence是document的一部…

    论文阅读, MathJax阅读全文

  7. 【论文阅读】ACL 2019 - Sentiment Analysis and Argument Mining

    1. Are You Convinced? Choosing the More Convincing Evidence with a Siamese Network 这篇文章是IBM的文章,关于论辩挖掘中的论辩的确定性判断。这篇文章的一个主要的工作就是构建了一个新的数据集。方法用了Siamese network(孪生网络)的改进版。 2. From Surrogacy to Adoption; From Bitcoin to Cryp…

    论文阅读, Emotion Detection阅读全文

  8. 【论文阅读】ACL2019 泛读清单

    1. One Time of Interaction May Not Be Enough: Go Deep with an Interaction-over-Interaction Network for Response Selection in Dialogues 是北大和微软合作的论文,解决的问题是对话系统中的response selection。模型需要计算用户聊天ci和回答ri之间的匹配得分,来表明两者是否是关联的。 本文的出发点是传统方法仅根据一层的…

    论文阅读阅读全文

  9. 【论文阅读】Text Level Graph Neural Network for Text Classification (EMNLP 2019)

    Motivation 传统的针对文本分类的GNN通常是构建一个固定的corpus level的图,这种图一般是静态图,有如下特征和缺点: 1. Corpus level,一般事先将所有的文档建模到图中。但这会使得计算资源消耗大,并且不可动态地增加文档,不可以进行online test。 2. 边的权重预先设定好,不可更改。受到预先设定的限制,并且降低了边的表达能力。 所以针对以上缺点,本文提出了一种新的文档级别的GNN方法。 Method 建图 首先,有两个个全局共享的参数:词…

    论文阅读阅读全文

  10. 【论文阅读】Knowledge-Enriched Transformer for Emotion Detection in Textual Conversations (EMNLP 2019)

    Motivation 人们的对话中通常包含着很多情感信息。但是人们通常在对对话进行情感分析的时候具有如下两个特点: 1. 考虑上下文的信息。 2. 人们本身具有一定的commonsense knowledge,利用commonsense knowledge进行对话分析。 所以针对如上两个特点,本文提出了Knowledge-Enriched Transformer(KET)模型,该模型使用了层次的self-attention来得到文档的上下文关系,而且与之前方法不同,contex…

    论文阅读, MathJax阅读全文