摘要：
https://github.com/google-research/bert BERT ***** New May 31st, 2019: Whole Word Masking Models ***** This is a release of several new models which w 阅读全文
摘要：
Motivation: 靠attention机制，不使用rnn和cnn，并行度高 通过attention，抓长距离依赖关系比rnn强 创新点： 通过self-attention，自己和自己做attention，使得每个词都有全局的语义信息（长依赖 由于 Self-Attention 是每个词和所有词 阅读全文
摘要：
目录前言源码解析主函数自定义模型遮蔽词预测下一句预测规范化数据集前言本部分介绍BERT训练过程，BERT模型训练过程是在自己的TPU上进行的，这部分我没做过研究所以不做深入探讨。BERT针对两个任务同时训练。1.下一句预测。2.遮蔽词识别下面介绍BERT的预训练模型run_pretraining.p 阅读全文
摘要：
目录预训练源码结构简介输入输出源码解析参数主函数创建训练实例下一句预测&实例生成随机遮蔽输出结果一览预训练源码结构简介关于BERT，简单来说，它是一个基于Transformer架构，结合遮蔽词预测和上下句识别的预训练NLP模型。至于效果：在11种不同NLP测试中创出最佳成绩关于介绍BERT的文章我看 阅读全文
摘要：
目录前言源码解析模型配置参数BertModelword embeddingembedding_postprocessorTransformerself_attention模型应用前言BERT的模型主要是基于Transformer架构（论文：Attention is all you need）。它抛开 阅读全文
摘要：
tmpName = ''if tmpName: print tmpName #没有输出if tmpName is not None: print tmpName #有输出，是空行 阅读全文
摘要：
pytorch nn.Embeddingclass torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2, scale_grad_by_freq=False, sp 阅读全文
摘要：
机器之心报道 作者：邱陆陆 8 月中旬，谷歌大脑成员 Martin Wicke 在一封公开邮件中宣布，新版本开源框架——TensorFlow 2.0 预览版将在年底之前正式发布。今日，在上海谷歌开发者大会上，机器之心独家了解到一个重大的改变将会把 Eager Execution 变为 TensorF 阅读全文
摘要：
近日，PyTorch 社区发布了一个深度学习工具包 PyTorchHub， 帮助机器学习工作者更快实现重要论文的复现工作。PyTorchHub 由一个预训练模型仓库组成，专门用于提高研究工作的复现性以及新的研究。同时它还内置了对Google Colab的支持，并与Papers With Code集成 阅读全文
摘要：
Google 2017年的论文 Attention is all you need 阐释了什么叫做大道至简！该论文提出了Transformer模型，完全基于Attention mechanism，抛弃了传统的RNN和CNN。 我们根据论文的结构图，一步一步使用 PyTorch 实现这个Transfo 阅读全文
摘要：
https://daiwk.github.io/posts/nlp-bert.html 目录 概述 BERT 模型架构 Input Representation Pre-training Tasks Task #1: Masked LM Task #2: Next Sentence Predicti 阅读全文