摘要: 有时候在做分类任务时,如果一些类别明确不会被分类到,可以通过mask把logits非法部分置为较大的负数。但此处如果引入了标签平滑,那么这些区域会因为负值非常大而产生巨大的损失。 阅读全文
posted @ 2022-04-25 09:35 Luke_Ye 阅读(66) 评论(0) 推荐(0) 编辑
摘要: huggingface所提供的的BERT的vocab.txt中,unused_xxx的token是不连续的在99前插入了几个CLS UNK之类的token,所以如果你想要一段连续的词(比如pix2seq中直接用偏移量把坐标转换为token_id)最好从100开始,或者单独加入新的词。 阅读全文
posted @ 2022-04-25 09:32 Luke_Ye 阅读(136) 评论(0) 推荐(0) 编辑