04 2022 档案

Transformer中的Tokenizer分词器使用学习
摘要：1.加载 tokenizer是进行语言处理的基础，transformer实现分词器的基类是 tokenizer = AutoTokenizer.from_pretrained(tokenizer_type） 后面可以通过from_pretrained函数中的retrained_model_name_ 阅读全文
posted @ 2022-04-19 16:15 梦想是能睡八小时的猪 阅读(4880) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示