随笔分类 -  论文笔记

论文笔记
Revisiting Pre-Trained Models for Chinese Natural Language Processing(再论中文自然语言处理的预训练模型)
摘要：论文地址：https://arxiv.org/abs/2004.13922 github地址：https://github.com/ymcui/MacBERT 1.该篇论文主要工作： （1）大量的实证研究，以重新审视中文预训练模型在各种任务上的表现，并进行了细致的分析。 （2）提出了一个新的预训练模 阅读全文
posted @ 2021-09-08 16:58 思凡念真 阅读(344) 评论(0) 推荐(0) 编辑
Understanding and Improving Encoder Layer Fusion in Sequence-to-Sequence Learning(在序列到序列学习中理解和改进编码器层的融合)
摘要：存在的问题： Encoder layer fusion (EncoderFusion) is a technique to fuse all the encoder layers (instead of the uppermost layer) for sequence-to-sequence (S 阅读全文
posted @ 2021-05-06 21:22 思凡念真 阅读(138) 评论(0) 推荐(0) 编辑
如何做高水科研
摘要：1)认真读论文做笔记，不要希望一开始就做的很成功。2)跟随实验室方向，让导师提出一些意见和想法。3)多跟同行、同实验室交流，只有好处，没有坏处！有想法的时候也多很同学和老师讨论。4)不要跟风，选定方向以后坚持下去，在某个方向当别人说起的时候希望自己能够成为那个someone ，在这个领域自己也做了s 阅读全文
posted @ 2021-04-22 20:35 思凡念真 阅读(63) 评论(0) 推荐(0) 编辑
Human-like Controllable Image Captioning with Verb-specific Semantic Roles(具有动词语义角色的类人可控图像字幕生成)
摘要：前人的缺陷： CIC works mainly focus on (1)subjective control signals,(2)objective control signals or (1) Content-controlled (2) Structure controlled。 almost 阅读全文
posted @ 2021-04-09 00:21 思凡念真 阅读(450) 评论(0) 推荐(0) 编辑
Recent Advances in Language Model Fine-tuning(语言模型微调的最新进展)
摘要：本文是对近期有关大规模预训练语言模型方法的综述 对预训练语言模型（LM）进行微调已成为在自然语言处理中进行迁移学习的事实上的标准。在过去的三年中（Ruder，2018），微调（Howard＆Ruder，2018）取代了预训练嵌入特征提取的使用（Peters et al., 2018），而预训练语言模 阅读全文
posted @ 2021-02-27 17:28 思凡念真 阅读(487) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示