Luke_Ye

摘要： 有时候在做分类任务时，如果一些类别明确不会被分类到，可以通过mask把logits非法部分置为较大的负数。但此处如果引入了标签平滑，那么这些区域会因为负值非常大而产生巨大的损失。 阅读全文

摘要： huggingface所提供的的BERT的vocab.txt中，unused_xxx的token是不连续的在99前插入了几个CLS UNK之类的token，所以如果你想要一段连续的词（比如pix2seq中直接用偏移量把坐标转换为token_id）最好从100开始，或者单独加入新的词。 阅读全文

摘要： 经常遇到KeyError: "XXX: 'Model is not in the backbone registry的报错。因为只要引用了带有registry注解的文件，就会将其注册到mmdet中，一开始我以为mmdet不支持重复引用文件引发的重复注册。但测试了一下发现是支持的，究其原因是注册了不同 阅读全文

摘要： CUDA Toolkit是NVIDIA的CUDA工具包，包含了CUDA的全部工具。 conda安装的cudatoolkit是CUDA的一个子包，包含了主要的二进制文件。 一般conda安装的pytorch tensorflow会直接调用conda环境中的包，而如果使用pip安装的tensorflow 阅读全文

摘要： 原贴地址：https://www.jianshu.com/p/e568213c8501 写模型的时候需要根据索引赋，直接写python效率很低，看到这个帖子原来pytorch内部已经实现了。 主要是 scatter index_fill index_put 阅读全文

摘要： tokenizer有个私有方法_convert_token_to_id，但这个方法是不会考虑added的词表的，如果用这个函数获取额外添加的词，会返回unk的id，正确的方法是采用_convert_token_to_id_with_added_voc这个函数。 阅读全文

摘要： 如果继承了Tokenizer例如mTokenizer(GPT2Tokenizer)，在__init__中加入了一些新tokens，这样在save之后from_pretrained时不能用mTokenizer.from_pretrained，会报错。 AssertionError: Non-conse 阅读全文

摘要： git clone https://github.com/thomasbrandon/mish-cuda cd mish-cuda python setup.py build install 在最后一步提示： fatal error: CUDAApplyUtils.cuh: No such file 阅读全文

摘要： 在Windows时打开中文文件时会报错 UnicodeDecodeError: 'gbk' codec can't decode byte 0x93 in position 7440: illegal multibyte sequence 而在Linux中正常。 这是因为Python在Windows 阅读全文

摘要： 在conda环境中启动python import package如果版本和预期不一样，可能有两个原因： 其一是screen和conda的bug，显示处于新环境，但实际上仍处在base环境中。尝试conda deactivate再重新激活。 另一种情况是conda自动将/home/[user_name 阅读全文