2024年8月26日
[SentencePiece]Tokenizer的原理与实现
摘要： 由来 无论在使用LLM大模型时，还是使用bert等传统的模型，对字符串进行编码都是必要的，只有经过编码后的字符串才能参与到后面的模型计算。 以下是在transformers库下的编码方式，无论是什么模型，AutoTokenizer隐藏了很多细节： query = 'hello' tokenizer 阅读全文
posted @ 2024-08-26 01:18 wildkid1024 阅读(167) 评论(0) 推荐(0) 编辑