2022年1月6日
Pytorch——Tokenizers相关使用
摘要： 在NLP项目中，我们常常会需要对文本内容进行编码，所以会采tokenizer这个工具，他可以根据词典，把我们输入的文字转化为编码信息，例如我们本文信息是“我爱你”将转化为[2,10,3]，其中”我“在字典里对应数字2，”爱“在字典里对应数字10，经过转化之后的文本，就可以作为模型的输入了。因此我们可 阅读全文
posted @ 2022-01-06 17:49 Circle_Wang 阅读(8635) 评论(0) 推荐(0) 编辑