2024年5月15日
Tokenizer: BPE, WordPiece, and SentencePiece
摘要： 1 Word-based Tokenizer 2 Character-based Tokenizer 3 Subword-based Tokenizer 3.1 Byte-Pair Encoding(BPE) Byte-Level BPE 3.2 WordPiece 3.3 Unigram 3.4 阅读全文
posted @ 2024-05-15 00:15 ForHHeart 阅读(69) 评论(0) 推荐(0) 编辑