会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
JustKeen
Don`t worry too much about the ambiguous future; just make the effort for the explicit present.
博客园
首页
新随笔
联系
订阅
管理
2022年9月2日
Huggingface:trainsformers的PreTrainedTokenizer类
摘要:
PreTrainedTokenizer类是所有分词类Tokenizer的基类,这个类不能够被实例化, 所有的transformers中预训练模型的分词器(例如BertTokenizer,RoBerta Tokenizer)等等都 继承自PreTrainedTokenizer类,并且实现了基类的方法。
阅读全文
posted @ 2022-09-02 22:57 justkeen
阅读(621)
评论(0)
推荐(0)
编辑
公告