nltk(三)
摘要：
1.tokenize 主要用于单词的拆分， 主要啊包括MWETokenizer(多单词拆分)，RegexpTokenizer(正则抽取单词拆分)，SpaceTokenizer(空格单词拆分)，TabTokenizer，StanfordSegmenter(斯坦福分词器)，TreebankWordTok 阅读全文
posted @ 2020-03-13 03:20 杨杨09265 阅读(187) 评论(0) 推荐(0) 编辑