BERT笔记

1.跑通demo

（1）

 

（4）BERT finetuning runner运行

由于本人用的是本机win10+pycharm环境，不是Linux系统，网络上的带参数运行就不能使用，因此需要修改run_classifier.py文件，给参数赋一个默认初值：

Linux系统：

 

 换到win10中，需要加上自己的属性：

 

 

参考：https://blog.csdn.net/mooe1011/article/details/89884202

 https://blog.csdn.net/rensihui/article/details/86218106

 

参考：

https://www.jianshu.com/p/aa2eff7ec5c1

https://www.jianshu.com/p/bfd0148b292e

https://blog.csdn.net/weixin_43948816/article/details/86063235

https://www.jianshu.com/p/3d0bb34c488a

2.代码解析

源码：

https://github.com/google-research/bert

参考：

https://www.jianshu.com/p/d7ce41b58801

https://blog.csdn.net/jiaowoshouzi/article/details/89388794

 

 

奉上一份较为详细的BERT模型教程：
http://jalammar.github.io/illustrated-bert/

预训练权重相关内容可以从官方 Github repo 下载：
https://github.com/google-research/bert

Bert 也可以作为 Tensorflow hub 模块：
https://tfhub.dev/google/collections/bert/1

文末还会奉上各种非常实用的库。