随笔 - 383  文章 - 0  评论 - 0  阅读 - 35125 
01 2020 档案
NLP模型应用之一:基础知识
摘要:引入 2018年底发布的BERT模型和2019年初发布的GPT-2模型,开始挑战人类的语言处理能力。二者都基于之前介绍过的Transformer基础模型。 对模型的研究有几个层次:研究基础模型、扩展模型、应用模型 研究基础模型 我们熟知的卷积神经网络CNN,... 阅读全文
posted @ 2020-01-31 15:29 xieyan0811 阅读(98) 评论(0) 推荐(0) 编辑
Transformer-XL框架
摘要:引入 Transformer-XL超长上下文的注意力模型,出自CMU和Google Brain在2019年1月发表的论文:《Transformer-XL: Attentive Language Models Beyond a Fixed-Length Cont... 阅读全文
posted @ 2020-01-31 14:53 xieyan0811 阅读(100) 评论(0) 推荐(0) 编辑
国产的自然语言处理框架ERNIE
摘要:看到题目是否引发一些刻板印象?国产的自然语言处理,主要是用于处理中文?有没有用到最前沿的技术?是不是只提供服务,里面是黑盒?是否全面开源并提供模型?平台是否通用?本文将为您一一解答。 ERNIE是继BERT,ELMo之后又一个以芝麻街人物命名的自然语言模型。E... 阅读全文
posted @ 2020-01-07 14:21 xieyan0811 阅读(107) 评论(0) 推荐(0) 编辑
定向写作模型CTRL
摘要:介绍 CTRL全称为Conditional Transformer Language有条件的文本生成模型,它始于Salesforce在2019年发布的论文《A Conditional Transformer Language Model for Control... 阅读全文
posted @ 2020-01-03 13:56 xieyan0811 阅读(79) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示