14.8.3 BERT：将ELMo与GPT结合起来

想想吴恩达讲的CV里面，复用其他网络的结构，只在最后一层加入一个全连接层，对这个全连接层进行微调，也就是如下过程
image
那么CV里面可以这么用，NLP里面当然也可以这么用，如下
image
我们只需要调整这个新增加的简单输出层即可
BERT说白了，就是只有编码器的Transformer
他有两个版本，见下
image
blocks就是Transformer的EncoderBlock

posted @   最爱丁珰  阅读(17)  评论(0)  编辑  收藏  举报
相关博文：
·  14.8.5 预训练任务
·  14.8.4 输入表示
·  什么是Bert
·  带你熟悉NLP预训练模型：BERT
·  BERT (2)
阅读排行：
· TypeScript + Deepseek 打造卜卦网站：技术与玄学的结合
· 阿里巴巴 QwQ-32B真的超越了 DeepSeek R-1吗？
· 【译】Visual Studio 中新的强大生产力特性
· 10年+ .NET Coder 心语 ── 封装的思维：从隐藏、稳定开始理解其本质意义
· 【设计模式】告别冗长if-else语句：使用策略模式优化代码结构
历史上的今天：
2024-03-03 货币兑换
2024-03-03 序列分割
点击右上角即可分享
微信分享提示