随笔分类 -  NLP与深度学习

摘要:从头开始训练一个BERT模型是一个成本非常高的工作,所以现在一般是直接去下载已经预训练好的BERT模型。结合迁移学习,实现所要完成的NLP任务。谷歌在github上已经开放了预训练好的不同大小的BERT模型,可以在谷歌官方的github repo中下载[1]。 以下是官方提供的可下载版本: 其中L表 阅读全文
posted @ 2021-10-09 23:13 ZacksTang 阅读(26275) 评论(2) 推荐(10) 编辑
摘要:1. BERT简介 Transformer架构的出现,是NLP界的一个重要的里程碑。它激发了很多基于此架构的模型,其中一个非常重要的模型就是BERT。 BERT的全称是Bidirectional Encoder Representation from Transformer,如名称所示,BERT仅使 阅读全文
posted @ 2021-09-30 20:35 ZacksTang 阅读(13429) 评论(0) 推荐(2) 编辑
摘要:1. Transformer模型 在Attention机制被提出后的第3年,2017年又有一篇影响力巨大的论文由Google提出,它就是著名的Attention Is All You Need[1]。这篇论文中提出的Transformer模型,对自然语言处理领域带来了巨大的影响,使得NLP任务的性能 阅读全文
posted @ 2021-09-14 00:10 ZacksTang 阅读(7316) 评论(1) 推荐(1) 编辑
摘要:1. Attention与Transformer模型 Attention机制与Transformer模型,以及基于Transformer模型的预训练模型BERT的出现,对NLP领域产生了变革性提升。现在在大型NLP任务、比赛中,基本很少能见到RNN的影子了。大部分是BERT(或是其各种变体,或者还加 阅读全文
posted @ 2021-09-02 00:45 ZacksTang 阅读(2018) 评论(0) 推荐(0) 编辑
摘要:1. 循环神经网络 在介绍循环神经网络之前,我们先考虑一个大家阅读文章的场景。一般在阅读一个句子时,我们是一个字或是一个词的阅读,而在阅读的同时,我们能够记住前几个词或是前几句的内容。这样我们便能理解整个句子或是段落所表达的内容。循环神经网络便是采用的与此同样的原理。 循环神经网络(RNN,Recu 阅读全文
posted @ 2021-08-28 17:30 ZacksTang 阅读(2044) 评论(0) 推荐(2) 编辑
摘要:1. 自然语言处理简介 根据工业界的估计,仅有21% 的数据是以结构化的形式展现的[1]。在日常生活中,大量的数据是以文本、语音的方式产生(例如短信、微博、录音、聊天记录等等),这种方式是高度无结构化的。如何去对这些文本数据进行系统化分析、理解、以及做信息提取,就是自然语言处理(Natural La 阅读全文
posted @ 2021-08-24 20:36 ZacksTang 阅读(4357) 评论(1) 推荐(3) 编辑

点击右上角即可分享
微信分享提示