2019年7月26日
Bert源码阅读
摘要： 前言 对Google开源出来的bert代码，来阅读下。不纠结于代码组织形式，而只是梳理下其训练集的生成，训练的self-attention和multi-head的具体实现。 训练集的生成 主要实现在create_pretraining_data.py和tokenization.py两个脚本里。输入文 阅读全文
posted @ 2019-07-26 15:49 交流_QQ_2240410488 阅读(465) 评论(0) 推荐(0) 编辑
BERT大火却不懂Transformer？读这一篇就够了 原版 可视化机器学习 可视化神经网络 可视化深度学习
摘要： https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer Discussions: Hacker News (65 points, 4 comments), Reddit r/MachineLear 阅读全文
posted @ 2019-07-26 14:05 交流_QQ_2240410488 阅读(1492) 评论(0) 推荐(1) 编辑
BERT大火却不懂Transformer？读这一篇就够了
摘要： https://zhuanlan.zhihu.com/p/54356280 大数据文摘与百度NLP联合出品 编译：张驰、毅航、Conrad、龙心尘 来源：https://jalammar.github.io/illustrated-transformer/ 编者按：前一段时间谷歌推出的BERT模型在 阅读全文
posted @ 2019-07-26 13:51 交流_QQ_2240410488 阅读(199) 评论(0) 推荐(0) 编辑
Python isinstance() 函数
摘要： 描述 isinstance() 函数来判断一个对象是否是一个已知的类型，类似 type()。 isinstance() 与 type() 区别： type() 不会认为子类是一种父类类型，不考虑继承关系。 isinstance() 会认为子类是一种父类类型，考虑继承关系。 如果要判断两个类型是否相同 阅读全文
posted @ 2019-07-26 09:51 交流_QQ_2240410488 阅读(256) 评论(0) 推荐(0) 编辑