pytorch的torchtext.data.Field( )使用方法介绍

CLASS torchtext.data.Field(sequential=True,

use_vocab=True,

init_token=None,

eos_token=None,

fix_length=None,

dtype=torch.int64,

preprocessing=None,

postprocessing=None,

lower=False,

tokenize=None,

tokenizer_language='en',

include_lengths=False,

batch_first=False,

pad_token='<pad>',

unk_token='<unk>', pad_first=False, truncate_first=False,

stop_words=None, is_target=False)为参数列表。

 

sequential，是否把数据表示成序列，默认是True。

tokenize：分词函数. （如 string.cut 、jieba.cut 等）默认值: str.split.