14.8.4 输入表示

现在考虑BERT的输入。一般来说NLP里面的输入都是成对的，比如机器翻译，有一个源句子还有一个目标句子。那么这里如何让输入是两个句子呢？我们只用拼接起来就好了，如下
image
<cls>表示classification，sep表示句子分隔符（separation）；Segment Embeddings就是用来区分词元来自哪个句子的
当然其实我们可以连接三个句子或更长，但是一般不这么做

posted @   最爱丁珰  阅读(6)  评论(0)  编辑  收藏  举报
相关博文：
·  14.8.3 BERT：将ELMo与GPT结合起来
·  14.8.5 预训练任务
·  【论文系列】之 ---- BERT
·  BERT的输入中，[CLS]和[SEP]应该被放在哪？
·  NLP之基于BERT的预测掩码标记和句间关系判断
阅读排行：
· TypeScript + Deepseek 打造卜卦网站：技术与玄学的结合
· 阿里巴巴 QwQ-32B真的超越了 DeepSeek R-1吗？
· 【译】Visual Studio 中新的强大生产力特性
· 10年+ .NET Coder 心语 ── 封装的思维：从隐藏、稳定开始理解其本质意义
· 【设计模式】告别冗长if-else语句：使用策略模式优化代码结构
历史上的今天：
2024-03-04 XOR Break — Solo Version
2024-03-04 回家路线
点击右上角即可分享
微信分享提示