摘要：
本篇文章主要是解读模型主体代码modeling.py。在阅读这篇文章之前希望读者们对bert的相关理论有一定的了解，尤其是transformer的结构原理，网上的资料很多，本文内容对原理部分就不做过多的介绍了。 我自己写出来其中一个目的也是帮助自己学习整理、当你输出的时候才也会明白哪里懂了哪里不懂。 阅读全文
摘要：
https://github.com/google-research/bert BERT ***** New May 31st, 2019: Whole Word Masking Models ***** This is a release of several new models which w 阅读全文
摘要：
Motivation: 靠attention机制，不使用rnn和cnn，并行度高 通过attention，抓长距离依赖关系比rnn强 创新点： 通过self-attention，自己和自己做attention，使得每个词都有全局的语义信息（长依赖 由于 Self-Attention 是每个词和所有词 阅读全文
摘要：
目录前言源码解析主函数自定义模型遮蔽词预测下一句预测规范化数据集前言本部分介绍BERT训练过程，BERT模型训练过程是在自己的TPU上进行的，这部分我没做过研究所以不做深入探讨。BERT针对两个任务同时训练。1.下一句预测。2.遮蔽词识别下面介绍BERT的预训练模型run_pretraining.p 阅读全文
摘要：
目录预训练源码结构简介输入输出源码解析参数主函数创建训练实例下一句预测&实例生成随机遮蔽输出结果一览预训练源码结构简介关于BERT，简单来说，它是一个基于Transformer架构，结合遮蔽词预测和上下句识别的预训练NLP模型。至于效果：在11种不同NLP测试中创出最佳成绩关于介绍BERT的文章我看 阅读全文
摘要：
目录前言源码解析模型配置参数BertModelword embeddingembedding_postprocessorTransformerself_attention模型应用前言BERT的模型主要是基于Transformer架构（论文：Attention is all you need）。它抛开 阅读全文
摘要：
tmpName = ''if tmpName: print tmpName #没有输出if tmpName is not None: print tmpName #有输出，是空行 阅读全文
摘要：
pytorch nn.Embeddingclass torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2, scale_grad_by_freq=False, sp 阅读全文
摘要：
机器之心报道 作者：邱陆陆 8 月中旬，谷歌大脑成员 Martin Wicke 在一封公开邮件中宣布，新版本开源框架——TensorFlow 2.0 预览版将在年底之前正式发布。今日，在上海谷歌开发者大会上，机器之心独家了解到一个重大的改变将会把 Eager Execution 变为 TensorF 阅读全文
摘要：
近日，PyTorch 社区发布了一个深度学习工具包 PyTorchHub， 帮助机器学习工作者更快实现重要论文的复现工作。PyTorchHub 由一个预训练模型仓库组成，专门用于提高研究工作的复现性以及新的研究。同时它还内置了对Google Colab的支持，并与Papers With Code集成 阅读全文