摘要:
向量化是使用一套统一的标准打分,比如填写表格:年龄、性别、性格、学历、经验、资产列表,并逐项打分,分数范围[-1,1],用一套分值代表一个人,就叫作向量化,虽然不能代表全部,但至少是个量度。因此,可以说,万物皆可向量化。 词向量 同理,词也可以向量化word2... 阅读全文
摘要:
运行在计算机上的程序一般分为命令行程序和图形界面程序,例如:安装Python三方模块的pip命令,软件版本管理的git命令等都属于命令行程序;而大多数软件使用图形界面,例如Windows的Word,Excel,画图等等软件都是图形化用户界面,简称GUI。 在图... 阅读全文
摘要:
生成对抗网络GAN是一种深度学习模型,它源于2014年发表的论文:《Generative Adversarial Nets》,论文地址:https://arxiv.org/pdf/1406.2661.pdf。 GAN的用途非常广泛,比如:有大量的卡通头像,想通... 阅读全文
摘要:
GPT模型 GPT全称Generative Pre-Training,出自2018年OpenAi发布的论文《Improving Language Understandingby Generative Pre-Training》,论文地址:https://www... 阅读全文
摘要:
引入 BERT是谷歌在2018年10月发布的自然语言处理模型,它在十一项自然语言任务中打破记录,在有些任务中有显著提高,并超越了人类水平,被誉为开启了NLP的新时代。虽然,在之后又出现了大量新算法,这两年BERT仍然是各大比赛以及产品中的主流算法。论文地址:h... 阅读全文
摘要:
引入 2018年底发布的BERT模型和2019年初发布的GPT-2模型,开始挑战人类的语言处理能力。二者都基于之前介绍过的Transformer基础模型。 对模型的研究有几个层次:研究基础模型、扩展模型、应用模型 研究基础模型 我们熟知的卷积神经网络CNN,... 阅读全文
摘要:
引入 Transformer-XL超长上下文的注意力模型,出自CMU和Google Brain在2019年1月发表的论文:《Transformer-XL: Attentive Language Models Beyond a Fixed-Length Cont... 阅读全文
摘要:
看到题目是否引发一些刻板印象?国产的自然语言处理,主要是用于处理中文?有没有用到最前沿的技术?是不是只提供服务,里面是黑盒?是否全面开源并提供模型?平台是否通用?本文将为您一一解答。 ERNIE是继BERT,ELMo之后又一个以芝麻街人物命名的自然语言模型。E... 阅读全文
摘要:
介绍 CTRL全称为Conditional Transformer Language有条件的文本生成模型,它始于Salesforce在2019年发布的论文《A Conditional Transformer Language Model for Control... 阅读全文
摘要:
Transformer是Google团队在 2017 年提出的自然语言处理(NLP)框架,也是截至目前,最主流的NLP框架。BERT、GPT-2都是基于该模型的变形和扩展。 Transformer的具体算法在论文《Attention Is All You Ne... 阅读全文