摘要：
文章名《Deepening Hidden Representations from Pre-trained Language Models for Natural Language Understanding》，2019，单位：上海交大 从预训练语言模型中深化语言表示 摘要：基于Transforme 阅读全文
摘要：
摘要：预训练语言模型如BERT等已经极大地提高了多项自然处理任务的性能，然而预训练语言模型通常具需要很大计算资源，所以其很难在有限的资源设备上运行。为了加速推理、减小模型的尺寸而同时保留精度，首先提出了一个新颖的迁移蒸馏方法，它是一种基于迁移方法的知识蒸馏思路。利用整个新颖的KD方法，大量的知识编码 阅读全文
摘要：
该文主要采用“知识蒸馏”方法对BERT（预训练语言模型）精简、优化，将较大模型压缩成较小的模型，最终目的是：提高模型推理的效率，让运行在智能手机等硬件设备上的深度学习模型具有轻量级、响应快及能源利用率高等特性。 在2019年的NLP领域预训练+微调的模型训练思路百家争鸣，ElMo、GPT、BERT、 阅读全文
摘要：
Link,Paper,Type,Model,Date,Citations https://arxiv.org/abs/1801.06146,Universal Language Model Fine-tuning for Text Classification,New Model ,ULMFiT,1 阅读全文
摘要：
给2020年NLP方向做一个指引： 2019 年，可谓是 NLP 发展历程中具有里程碑意义的一年，而其背后的最大功臣当属 BERT ！ 2018 年底才发布，BERT 仅用 2019 年一年的时间，便以「势如破竹」的姿态成为了 NLP 领域首屈一指的「红人」，BERT 相关的论文也如涌潮般发表出来。 阅读全文