Bert学习资料汇总

最近身边问NLP的人多了起来，索性做个汇总。

 

吴恩达网课

机器学习：

https://www.bilibili.com/video/BV164411b7dx?from=search&seid=17652698509622694221

 

深度学习：

https://www.bilibili.com/video/BV1gb411j7Bs?from=search&seid=17652698509622694221

 

BERT的资源梳理

资源梳理：

https://blog.csdn.net/sunhua93/article/details/102764783

 

最强NLP模型BERT可视化学习：《Deconstructing BERT: Distilling 6 Patterns from 100 Million Parameters》

https://zhuanlan.zhihu.com/p/55083548

 

用可视化解构BERT，我们从上亿参数中提取出了6种直观模式

https://blog.csdn.net/j2IaYU7Y/article/details/86610622

 

BertViz - 一个用于可视化 BERT's attention 层的工具

https://python.ctolib.com/jessevig-bertviz.html

 

NLP必读：十分钟读懂谷歌BERT模型（含有很多推荐论文）

https://zhuanlan.zhihu.com/p/51413773

 

Google AI 2018 BERT pytorch实施

https://github.com/codertimo/BERT-pytorch

 

BERT源码注释(run_classifier.py) - 全网最详细

https://blog.csdn.net/weixin_43320501/article/details/93894946

 

AI解惑者 BERT专题系列

https://www.bilibili.com/video/av58991143/?spm_id_from=333.788.videocard.2

 

60分钟带你掌握NLP BERT理论与实战

https://edu.csdn.net/course/detail/22005

 

自然语言处理 ELMO, BERT, GPT（李宏毅）

https://www.bilibili.com/video/av54806580?from=search&seid=10448681216050840375>

 

Transformer

Transformer的算法带图示的解读

https://jalammar.github.io/illustrated-transformer/

 

Transformer用于训练和评估模型的代码（github）

https://github.com/tensorflow/tensor2tensor

 

【NLP】Attention原理解析

https://zhuanlan.zhihu.com/p/43493999

 

Transformer解读（论文 + PyTorch源码）

https://blog.csdn.net/magical_bubble/article/details/89083225#ref

 

一文读懂Transformer+源码复现

https://blog.csdn.net/jiaowoshouzi/article/details/89641775

 

Tensorflow源码解读（一）：Attention Seq2Seq模型

https://zhuanlan.zhihu.com/p/27769667

 

The Annotated Transformer

http://nlp.seas.harvard.edu/2018/04/03/attention.html