Loading

2022年10月19日
torch：针对mask掉的位置不进行softmax
摘要： 错误方式 希望在进行softmax之前，如果对被mask掉的位置加上一个特别小的数字，那么softmax之后就会变成0。 pad_mask = (1 - doc_token_mask) * (-1999999) # 把原本0的位置变成一个特别小的数字 qk = qk + pad_mask # 加到原 阅读全文
posted @ 2022-10-19 20:55 戴墨镜的长颈鹿 阅读(580) 评论(0) 推荐(0) 编辑