随笔分类 - 自然语言处理
摘要:1引言 通常来说,在NLP领域的很多场景中模型最后所做的基本上都是一个分类任务,虽然表面上看起来不是。例如:文本蕴含任务其实就是将两个序列拼接在一起,然后预测其所属的类别;基于神经网络的序列生成模型(翻译、文本生成等)本质就是预测词表中下一个最有可能出现的词,此时的分类类别就是词表的大小。 对于问答
阅读全文
摘要:1引言 在自然语言处理领域中,预训练模型通常指代的是预训练语言模型。广义上的预训练语言模型可以泛指提前经过大规模数据训练的语言模型,包括早期的以Word2vec、GloVe为代表的静态词向量模型,以及基于上下文建模的CoVe、ELMo等动态词向量模型。 在2018年,以GPT和BERT为代表的基于深
阅读全文
摘要:转到了NLP组,算是到了一个新的领域,其实很久之前就想接触NLP了,觉得无头绪,无从下手,很多都是碎片化,过时等资料。看了《ChatGPT对自然语言处理带来什么冲击》,其中以书本为锚点,介绍了NLP的发展史 1自然语言发展史 | 阶段 | 书籍 | 出版年 | | | | | | 第一代统计学习 |
阅读全文
摘要:[TOC] ## 0 引言  transformer这个框架现在可谓是遍地开花,继最开始的AE,CNN,RNN,到现在
阅读全文