摘要： 背景 在使用Llama-3.2-1B时遇到一个关于pad_tokens经验不足的bug。没有指定pad_token的时候分词器会报错，这个使用有以下两种解决策略： 配一个新的token。 tokenizer.add_special_tokens({'pad_token': '[PAD]'}) mod 阅读全文