自然语言处理之 nltk 英文分句、分词、统计词频的工具

自然语言处理之 nltk 英文分句、分词、统计词频的工具：

需要引入包：

from nltk.tokenize import RegexpTokenizer
from nltk.corpus import stopwords
from nltk.stem.porter import PorterStemmer
from nltk.tokenize import word_tokenize
from gensim import corpora, models
import gensim

1、nltk 英文分句：sentences = sen_tokenizer.tokenize(paragraph)

2、nltk 英文分词：word_list = nltk.word_tokenize(paragraph)

3、统计词频：freq_dist = nltk.FreqDist(words)    #nltk.FreqDist返回一个词典，key是不同的词，value是词出现的次数