2021年10月14日
encode和encode_plus和tokenizer的区别
摘要： 1.encode和encode_plus的区别 区别1. encode仅返回input_ids2. encode_plus返回所有的编码信息，具体如下：’input_ids:是单词在词典中的编码‘token_type_ids’:区分两个句子的编码（上句全为0，下句全为1）‘attention_mas 阅读全文
posted @ 2021-10-14 21:59 为红颜 阅读(5589) 评论(0) 推荐(0) 编辑