-
【生活琐事】拜拜啦，2020！
一月 2020的上台表演，我只是个没有灵魂的说稿机器。 实验室聚餐，玩的很开心哇！（不过和抽奖无缘呜呜呜呜 去上海成了习惯，买衣服也是。 一切都没来的时候还觉得冬天很好。 二月 呆在家里生活在撸猫、游戏和学习中交替进行。 尝试了一直不敢但是很有名气的螺狮粉，没想到之后常常成为我的午饭。 莫名其妙入了jk坑，后来转向了领带，这不是第一条，也不会是最后一条。 三月 隔了很多年最后去了一趟住了很多年的老房子，像是一场告别。 举报猫猫不让我学习！ 骑车带我的…
-
【论文阅读】Rethinking Attribute Representation and Injection for Sentiment Classification (EMNLP 2019)
Task Sentiment Classification with attributes(user, product) Motivation 在情感分析中，一些文本自带的属性信息，如user（文本是谁写的）、product（文本是关于什么产品的）信息通常会对情感分析有一定 的帮助，所以最近的一些工作都会用他们来提升模型性能和增加可解释性。 但是，现有的很多方法都是使用注意力机制来进行外部信息的融合，具体的计算公式如下： $$ a = softmax(v^Te) $$ $$ e = t…
-
【生活小结】找工作真的太难了！
前言 想着找完工作写一个小结，免得太久给忘记了，但是微软一直拖着没签三方（我可能是我们实验室唯一一个没签约的了……），再拖下去就要忙起ACL的论文了（虽然不知道会不会投……），就先写啦，虽然过了挺久了很多东西也忘记了。 初期（-6月） u1s1今年觉得算法真的有点难找，师兄推荐我投一投一开始的实习，说就算不去但是攒一攒面试经验也是很好的。但是实习招人三四月就开始了，我很怂而且觉得基础知识和刷题都没有准备好，就没有投。不过也开始断断续续在看《统计学习方法》，然后刷了一下剑指offer，也没…
-
【论文阅读】SentiBERT: A Transferable Transformer-Based Architecture for Compositional Sentiment Semantics (ACL 2020)
Task Sentiment Analysis 树结构 1. Constituency tree（句法树），用句法规则，递归的构建出树的结构来表示一句话，其只有叶子结点与输入句子中的词语相关联，其他中间结点都是标记短语成分。 1. Dependency tree（依存树），用单词之间的依存关系来表达语法。如果一个单词修饰另一个单词，则称该单词依赖于另一个单词。 Motivation The sentiment of an expression is det…
-
【论文阅读】Graph Neural News Recommendation with Unsupervised Preference Disentanglement (ACL 2020)
Task News Recommendation：给定一系列成对的user-news的数据，表示user之前看过news，预测对于一个未见过的news，user是否会看。 Motivation 之前的做News Recommendation的方法通常的关注点是以下几类： * 充分利用用户的历史信息，做personalized News Recommendation * 利用文本内容，得到user和news的好的表示 * 利用外部知识 * 利用topic信息…
-
【论文阅读】Explainable and Discourse Topic-aware Neural Language Understanding (ICML 2020)
Task Language modelling，计算一个序列的概率，这篇论文的一个任务就是预测下一个词。 Motivation 1. LM一般做的是sentence-level的，但是有的时候全文的信息对当前句子的预测也很重要。如果输入的是document，做document-level LM，由于LM一般是RNN的总是，对于超过200个词的文本仍然存在之前信息遗忘的现象，所以就有人提出向LM里加入TM的信息来加入全文的信息。之前的方法一般加入的都是文本的topic distri…
-
【论文阅读】Topic model + 监督任务论文小结
Topic-Aware Deep Compositional Models for Sentence Classification(2017) 2017年的一篇文章，还没用到NTM，是pre-train的TM。论文整体不复杂，就是对于一个单词同时使用pre-train的word embedding和TM得到的topic embedding（这个是word的topic embedding，维度为1 * K）。然后输入到一个deep compositional model得到最终表示。mu…
-
【论文阅读】Aspect Sentiment Classification with Document-level Sentiment Preference Modeling (ACL 2020)
Task Aspect Sentiment Classification (ASC) 例子：The restaurant has quite low price but the food tastes not good Price：positive Food：negative Motivation 通常的方法都是sentence-level的，即针对一个sentence，每次分析一个aspect的情感，各个sentence之间是互相独立的。但是实际上，sentence是d…
-
【实验分析】Yelp数据处理
最近可能有几个看效果的实验可能要用到Yelp review的数据，官网（https://www.yelp.com/dataset/documentation/main）下载的数据是原始的数据，我要将它预处理成我要的样子。 数据要求 1. 要得到review的text、user ID和star。 2. 仅保留review条数在REVIEW_NUM（参数可调）以上的user ID。 3. 仅保留符合要求的user ID对应的text、user ID和star。 数据处理 读取数据…
-
【论文阅读】ACL 2019 - Sentiment Analysis and Argument Mining
1. Are You Convinced? Choosing the More Convincing Evidence with a Siamese Network 这篇文章是IBM的文章，关于论辩挖掘中的论辩的确定性判断。这篇文章的一个主要的工作就是构建了一个新的数据集。方法用了Siamese network（孪生网络）的改进版。 2. From Surrogacy to…