《BERT模型的优化改进方法》读书笔记

https://mp.weixin.qq.com/s/MHm7AxmcuEgFR_oNbNqFkQ

参考这篇文章

 

 

BERT预训练方法

BERT 模型使用两个预训练目标来完成文本内容特征的学习。

  • 掩藏语言模型（Masked Language Model，MLM）通过将单词掩盖，从而学习其上下文内容特征来预测被掩盖的单词
  • 相邻句预测（Next Sentence Predication，NSP）通过学习句子间关系特征，预测两个句子的位置是否相邻

 

posted @   blcblc  阅读(92)  评论(0)  编辑  收藏  举报
相关博文：
· 图解BERT模型-读书摘要
· 几篇关于Transformer和Bert讲得不错的文章
· Bert模型
· BERT如何进化-预训练语言模型研究进展【1】
· 【论文精读】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
阅读排行：
· 阿里最新开源QwQ-32B，效果媲美deepseek-r1满血版，部署成本又又又降低了！
· 单线程的Redis速度为什么快？
· SQL Server 2025 AI相关能力初探
· AI编程工具终极对决：字节Trae VS Cursor，谁才是开发者新宠？
· 展开说说关于C#中ORM框架的用法！
历史上的今天：
2017-05-26 准备用公司的Spark做训练了 & 公司spark客户端 以及 hdfs agent安装记录
点击右上角即可分享
微信分享提示