使用TensorFlow进行中文自然语言处理的情感分析
1 TensorFlow使用
分析流程：
1.1 使用gensim加载预训练中文分词embedding
加载预训练词向量模型：https://github.com/Embedding/Chinese-Word-Vectors/
from gensim.models import KeyedVectors cn_model = KeyedVectors.load_word2vec_format('H:/词向量/word+Ngram/sgns.zhihu.bigram', binary=False)
查看词语的向量模型表示： 维度为300
词语相似度：向量余弦值
最相似的词：
1.2 训练样本预料
准备一个训练集，4000个酒店评论，其中2000条为pos积极的，2000条为消极的，每条评论放在一个文件中。
1）文本预处理，分词、索引化
读取数据
import os import re import jieba from gensim.models import KeyedVectors cn_model = KeyedVectors.load_word2vec_format('H:/word+Ngram/sgns.zhihu.bigram', binary=False) baseDir = "H:/谭松波老师8++酒店评论++语料/utf-8/4000" pos_txts = os.listdir("H:/谭松波老师8++酒店评论++语料/utf-8/4000/pos") neg_txts = os.listdir("H:/bishe/NLP/训练集/谭松波老师8++酒店评论++语料/utf-8/4000/neg") train_text_orig = [] for i in range(len(pos_txts)): with open(baseDir+"/pos/"+pos_txts[i], errors="ignore", encoding="utf-8") as f: text = f.read().strip() train_text_orig.append(text) f.close() for i in range(len(neg_txts)): with open(baseDir+"/neg/"+neg_txts[i], errors="ignore", encoding="utf-8") as f: text = f.read().strip() train_text_orig.append(text) f.close()
分词，建立索引：
# [[句子词索引],[]] train_tokens = [] for text in train_text_orig: # 去掉标点符号 text = re.sub("[\s+\.\!\/_,$%^*(+\"\')]+|[+——()?【】“”！，。？、~@#￥%……&*（）]+", "", text) # 结巴分词 cut = jieba.cut(text) # 结巴分词结果为一个生成器 cut_list = [i for i in cut] for i, word in enumerate(cut_list): try: # 将词转换成索引 cut_list[i] = cn_model.vocab[word].index except KeyError: cut_list[i] = 0 train_tokens.append(cut_list)
2）文本长度标准化：
长度参差不齐，我们需要将长度标准化，方便模型进行训练，如果长度太短，会损失太多的信息，而长度太长会浪费太多计算资源
所以说我们要取一个这种的方案，让这个长度基本上涵盖所有的训练样本，又不损失太多的信息
样本长度分布图：
# 看一下样本长度分布图 import matplotlib.pyplot as plt plt.hist(num_tokens, bins=100) plt.xlim(0, 400) plt.ylabel("number of tokens") plt.xlabel("length of tokens") plt.title("Distribution of tokens length") plt.show()
# 取tokens平均值加上两个tokens的标准差 # 假设tokens长度的分布符合正太分布，则max_tokens这个值可以涵盖95%左右的样本 max_tokens = np.mean(num_tokens) + 2 * np.std(num_tokens)
# 取tokens的长度为236时，大约95%左右的样本被涵盖 # 对于长度不足的进行padding，过长的进行修剪 np.sum(num_tokens<max_tokens)/len(num_tokens)
反tokenize
def reverse_token(tokens): ''' 将索引化的句子还原 :param tokens: 句子 [词语，..] :return: ''' text = "" for i in tokens: if i!=0: text = text+cn_model.index2word[i] else: text =text+" " return text
3）准备Emdedding Matrix（词向量矩阵）
根据Keras的要求，我们需要准一个维度为(numwords, embeddingdim)的矩阵，num words代表我们使用的词汇的数量，emdedding dimension在我们预训练词向量模型中是300，每个词汇都用长度为300的向量表示（例如: 较好 ->[ 0.056964, -0.127308, -0.118041,...]），注意词向量矩阵是作为训练模型的工具，
# 初始化词向量矩阵-embedding matrix（只用前50000个词） num_words = 50000 embedding_matrix = np.zeros((num_words, embedding_dim)) # 维度为(50000, 300)的矩阵 for i in range(num_words): embedding_matrix[i,:]=cn_model[cn_model.index2word[i]] # 将词向量赋值到词向量矩阵中 embedding_matrix = embedding_matrix.astype("float32") # 检查赋值是否正确 np.sum(cn_model[cn_model.index2word[333]]==embedding_matrix[333])
词向量矩阵维度：
4） padding（填充）和truncating（修剪）
我们把问转换成token（索引）后，每一串索引的长度都不相等，所以为了方便模型的训练我们需要将索引的长度标准化，上面我们选择了使用236这个可以涵盖95%的训练样本的长度，接下来进行padding和truncating，我们一个采用‘pre’的方法，在文本索引的前面填充0。
# 返回一个numpy array train_pad = pad_sequences(train_tokens, maxlen=max_tokens, padding="pre", truncating="pre")
准备目标向量：
# 准备target向量，前2000个位1，后2000个位0 train_target = np.concatenate((np.ones(2000), np.zeros(2000)))
训练样本和测试样本分离，使用90%的样本来做训练，10%的样本用来做测试：
# 进行训练和测试样本的分割 from sklearn.model_selection import train_test_split # 90用作训练，正面和负面打乱 X_train, X_test, y_train, y_test = train_test_split(train_pad, train_target, test_size=0.1, random_state=12)
5）使用Keras搭建神经网络模型（LSTM），模型的第一层是Embedding层
end
