Fork me on GitHub
2023年4月23日
OpenAI的子词标记化神器--tiktoken 以及 .NET 支持库SharpToken
摘要： 经过 Tokenize 之后，一串文本就变成了一串整数组成的向量。OpenAI 的 Tiktoken 是 更高级的 Tokenizer ， 编码效率更高、支持更大的词汇表、计算性能也更高。 OpenAI在其官方GitHub上公开了一个开源Python库：tiktoken，这个库主要是用力做字节编码对 阅读全文
posted @ 2023-04-23 22:44 张善友 阅读(984) 评论(2) 推荐(2) 编辑