Bert

推荐李宏毅老师2020Language的课程

• 【DataWhale：Bert与机器阅读理解的故事】
• 【DataWhale：动手学NLP】; 资料
  数据集怎么用？现成的或者自己做，怎么跑？跑一次多久？怎么调参。
  • DataSet: https://gas.graviti.cn/dataset/hello-dataset/SQuAD_v2?utm_medium=0725datawhale
  • 一个很多模型的网站：https://huggingface.co/bert-base-uncased；【使用说明书】

---

基础的理论

• 好文：transformer 理论， Feature Extraction with BERT for Text Classification
• 讲述了注意力机制的intuitive，如何去应用。

实战

---

• 怎样用预训练模型搞定深度神经网络？https://zhuanlan.zhihu.com/p/27657264

---

• 文本分类： https://zhuanlan.zhihu.com/p/91533809
• pytorch+huggingface实现基于bert模型的文本分类（附代码）https://www.cnblogs.com/tangjianwei/p/13334327.html
• 如何向BERT词汇表中添加token，新增特殊占位符：https://blog.csdn.net/icestorm_rain/article/details/108540053
• github sentiment cls：https://github.com/yuand23/sentiment_cls
• Bert生成句向量(pytorch)：https://blog.csdn.net/weixin_30034903/article/details/113399809
• MacBert：https://zhuanlan.zhihu.com/p/333202482
• bert中的special token到底是怎么发挥作用的(1)：https://zhuanlan.zhihu.com/p/361169990
• bert4keras、transformers 加载预训练bert模型、句向量cls，字向量提取：https://blog.csdn.net/weixin_42357472/article/details/110870993

---

• https://blog.csdn.net/qq_40276310/article/details/114733827
• Github: https://github.com/mabdullah1994/Text-Classification-with-BERT-PyTorch
• https://github.com/policeme/chinese-bert-similarity
• https://github.com/Mryangkaitong/unsupervised_learning/tree/main/Semantic similarity

---

需要学习的

• 孪生网络：https://mp.weixin.qq.com/s/DUMQDDSv2_6xMTiM90uL3Q
• 基于孪生网络的表示学习与对比学习：https://mp.weixin.qq.com/s/QHy0ajezkrQty1DFIqifvQ