论文学习总结

————爬虫学习————

01：2021.10.17

机器学习，sklearn库，无监督学习聚类，聚类算法

02：2021.10.22

实例：基于聚类的图像分割实例编写

03：2021.10.29

理论：无监督学习之降维，降维，主成分分析PCA，非负矩阵分解NMF

04：2021.11.07

理论：机器学习之监督学习，分类，回归

05：2021.11.14

理论：基本分类模型，K近邻分类器KNN，决策树，朴素贝叶斯

06：2021.11.20

实例：人体运动状态分析

07：2021.11.27

实例：线性回归，房价与尺寸线性拟合

08：2021.12.04

支持向量机SVM，K者交叉验证，实例：上证指数涨跌预测

09：2022.01.08

实例：手写数字识别，神经网络实现，KNN实现

————爬虫学习————

10：2022.01.15

jupyter，http和https，requests模块，实例

11：2022.01.22

实例：药监总局企业详情信息，网易云评论爬取，词云图制作

————论文学习————

12：2022.01.27

爬虫学习，彼岸图网图片爬取

2020年，中国科学：技术科学（英文版）

预训练综述：Pre-trained Models for Natural Language Processing

13：2022.02.12

作者: Ashish Vaswani等

单位: Google

发表会议及时间: NIPS 2017

Transformer: Attention Is All You Need

14：2022.02.20

作者: Ashish Vaswani等

单位: Google

发表会议及时间: NIPS 2017

Transformer: Attention Is All You Need

实例：jupyter notebook的实现

15：2022.02.26

2018 Google AI Language

BERT: Pre-training of Deep Bidirectional Transformers for Language Understandin

16：2022.03.05

实例：爬虫scrapy，化工产品爬虫

2014

Convolutional Neural Networks for Sentence Classification

实例：TextCNN文本分类

17：2022.03.13

2018 Google AI Language

BERT: Pre-training of Deep Bidirectional Transformers for Language Understandin

18：2022.03.19

2020 Google AI Language

A lite BERT for self-supervised learning of language representations

19：2022.03.26

BERT的pytorch实现

模型学习：LSTM

专利想法

20：2022.04.03

详细学习和步骤

模型学习：TextCNN，LSTM，GRU

专利想法，模型设计和实现

21：2022.04.09

专利书写，visio图的介绍

22：2022.04.14

AAAI 2021

SALNet: Semi-Supervised Few-Shot Text Classification with Attention-Based Lexicon Construction

小样本文本分类情境下，对class对应的关键词进行扩充的问题。

可以用于少量本的文本分类，采用半监督迭代的方式进行。

可以一定程度上解决新训练集与旧分类器之间的差距。

23：2022.04.23

AAAI 2021

Label Confusion Learning to Enhance Text Classification Models

标签学习的提升组件LCM

24：2022.05.01

专利书写，针对长短文本的想法

25：2022.05.07

AAAI 2021

Label Confusion Learning to Enhance Text Classification Models

代码实现

26：2022.05.28

2019

Distilling Task-Specific Knowledge from BERT into Simple Neural Networks

BERT的知识蒸馏，Distilled BiLSTM，代码实现

27：2022.06.04

AAAI 2021

ACT: an Attentive Convolutional Transformer for Efficient Text Classification

28：2022.06.12

AAAI2019

Google AI Language

Vanilla Transformer: Character-Level Language Modeling with Deeper Self-Attention

ACL2019

Transformer-XL: Attentive Language Models

beyond a Fixed-Length Context

针对Transformer的改进

29：2022.06.19

AAAI2021

ACT: an Attentive Convolutional Transformer for Efficient Text Classification

ACT模型把Transformer的Scaled Dot-Product Attention模块换成了attentive convolution mechanism，主要就是CNN加了一个Global feature representation。

30：2022.06.24 —— 数据增强

2021数据增强综述

A Survey on Data Augmentation for Text Classification

做了实验，xmind结构图

31：2022.07.02

ACL2020

Feature Projection for Improved Text Classification

特征投影网络FP-Net

32：2022.07.18

CCF NCCA 2021

CCF第36届中国计算机应用大会

结合BERT和特征投影网络的新闻主题文本分类方法

33：2022.07.25

AAAI2021

Merging Statistical Feature via Adaptive Gate for Improved Text Classification

自适应门网络

提出了一种自适应门网络(AGN)来选择性地利用统计特征巩固语义表示，可以和现有的文本分类模型结合提升模型的性能。

34：2022.07.31

模型修改

在写小论文？

画了visio图

35：2022.08.07

AAAI 2020

Multi-Scale Self-Attention for Text Classification

基于多头自注意力的归纳偏置

36：2022.08.13

ACM2020

Google AI Language

XLNet: Generalized Autoregressive Pretraining for Language Understanding

XLNet使用了Transformer-XL的优化方式，

提出了一些新的方法，改善了BERT存在的问题，但是参数比BERT更大

37：2022.08.20

AAAI2021

MASKER: Masked Keyword Regularization for Reliable Text Classification

针对当前预训练模型过分依赖关键词，而不是上下文，这种不稳定性，提出了Masked Keyword Regularization (MASKER)，通过MASK的方式，对关键词进行正则化，降低模型对关键词的依赖，更多利用上下文信息来预测。

在关键词的选择上提出了两种方法，基于频率，基于attention注意力机制。

对MASK的约束：掩码关键词的重构，掩码之后的熵正则。

38：2022.08.30

ACL2020

Contextualized Weak Supervision for Text Classification

基于上下文弱监督的文本分类，

开发一种无监督的方法，可以根据词向量和seed words，解决语料库中单词的一词多义问题。

设计一种排序机制，消除seed words中一些无效的单词；并将有效的单词扩充进seed words中。

39：2022.09.14

ACL2020

Every Document Owns Its Structure: Inductive Text Classification via Graph Neural Networks

提出了一种新的文本分类方法，通过图神经网络进行归纳词表示。

训练了一个GNN，仅使用训练集来描述“单词-单词”关系。

使用滑动窗口来构建单个图，单词节点的信息通过门控图神经网络传播到其邻居，加强上下文关系的学习。

40：2023.09.24

ACL2020

Hierarchy-Aware Global Model for Hierarchical Text Classification

提出一种层次感知的全局模型，使用了两种方法来进行标签的预测

思考：同父类的子节点应该继承了父类的某些共性特征，彼此之间还存在某种差异，可以加上一个随机干扰的波动FGM对抗扰动

41：2022.10.01

NLPCC2020

Sentence Constituent-Aware Aspect-Category Sentiment Analysis with Graph Attention

用于细粒度分类的句子成分感知神经网络，
提出的网络结构中，包括了2个图注意力网络模块，
最后用1个交互式的loss函数来计算损失。

42：2022.10.08

AAAI2021

Ideograph Leads Us to the Field of Cognition: A Radical-Guided Associative Model for Chinese Text Classification

基于汉字的蒸馏和汉字偏旁联想空间

43：2022.10.15

EMNLP 2020

MODE-LSTM: A Parameter-efficient Recurrent Network with Multi-Scale for Sentence Classification

句子分类的核心问题是提取多尺度的特征，以此来理解句子的语义。论文提出了一种依赖于LSTM的多尺度递归模型。

将LSTM的隐藏状态分解为几个独立更新的小隐藏状态，结合不同大小的滑动窗口来提取多尺度的特征。

44：2022.10.22

Google Research 2022

Block-Recurrent Transformers

把Transformer作为RNN的循环单元，解决长文本问题，利用传统的RNN递归来增加长文档中的Transformer，

模型在学习一个token的时候，也可以同样考虑到上一个状态的输入和输出。

45：2022.11.06

AAAI2021

MASKER：Masked Keyword Regularization for Reliable Text Classification

针对MASK机制的改动，

在关键词的选择上提出了两种方法，基于频率，基于attention注意力机制。对MASK的约束：掩码关键词的重构，掩码之后的熵正则。

46：2022.11.12

AAAI2021

Does Head Label Help for Long-Tailed Multi-Label Text Classification

利用Head-to-Tail Network解决了多标签文本分类中的文本标签分布不均衡的问题。

通过使用头尾标题标签所属的文档，转移学习头尾标签的知识，映射学习到的长尾标签的依赖权重。

47：2022.12.04

专利想法

基于词汇投影混合标签学习的文本分类方法

48：2022.12.16

AAAI2021

MARTA: Leveraging Human Rationales for Explainable Text Classification

提出了一种混合的Human-AI方法，在基于注意力的文本分类模型中，纳入了人类的理性判断，该框架在架在分类可解释性和准确性方面有着显著提高。

通过人工的为相关文本片段添加注释理由，来辅助模型进行分类。

49：2022.12.30 —— 知识蒸馏

EMNLP 2019

Distilling task-specific knowledge from bert into simple neural networks

Patient knowledge distillation for bert model compression

DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter

50：2023.01.07 —— 知识蒸馏

EMNLP 2019

TinyBERT: Distilling BERT for Natural Language Understanding

ACL2020

MobileBERT: a Compact Task-Agnostic BERT for Resource-Limited Devices

NeurIPS2020

MINILM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers

总结

• Distilled BiLSTM：BERT-large蒸馏到了单层的BiLSTM中

• BERT-PKD ：耐心知识蒸馏，skip或last

• DistillBERT：对PKD的改进，新增了一个cosine embedding loss

• TinyBERT：提出了two-stage learning框架，分别在预训练和精调阶段蒸馏教师模型。

• MobileBERT：致力于减少每层的维度，压缩维度的主要思想在于bottleneck机制。

• MiniLM：Value-Relation Transfer的蒸馏让学生模型更深入地模仿教师模型。

51：2023.01.13

ACL2021

ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information

提出了一种大规模的面向中文的NLP预训练模型ChineseBERT。

利用汉字字形信息与拼音信息消除汉字的起义，从而更好的进行正则化，使模型更好建模潜在文本语义。

52：2023.02.01

ACL2021

Text Classification with Negative Supervision

负样本监督，提出了负监督的方法，利用不同标签文本的差异实现对编码器的负面监督，让分类器具有更高的区别性。

在正常的文本分类任务过程中，加入正样例与负样例之间相似度的损失函数，让模型能学到更具有差异性的信息，以提高识别效果。

53：2023.02.10

ACL2022

X-Class: Text Classification with Extremely Weak Supervision

提出了X-Class框架，用于自适应文档对每个标签类别扩充seed words，自适应文档在标签的递增下添加seed words进行表示。再联系上下文，加入了混合注意力机制，通过计算文档与上下文单词的加权平均以及聚类的置信度进行分类。

54：2023.02.19

论文想法多尺度注意力循环单元