TFIDF练习

直接上代码吧：

"""
    测试Demo
"""
import lightgbm as lgb
import numpy as np
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.feature_extraction.text import CountVectorizer


def use_lgb():
    # 训练数据，500个样本，10个维度
    train_data = np.random.rand(500, 10)
    # 构建二分类数据
    label = np.random.randint(2, size=500)
    # 放入到dataset中
    train = lgb.Dataset(train_data, label=label)
    print(train)


def use_tfidf():
    sentence = ['没有 你 的 地方 都是 他乡', '没有 你 的 旅行 都是 流浪']
    # 不去掉停用词
    c = CountVectorizer(stop_words=None)

    # 拟合模型返回文本矩阵
    count_word_tf = c.fit_transform(sentence)

    # print(count_word_tf.toarray())
    # # 查看那些词，以字典的形式
    # print(c.vocabulary_)
    # # 得到特征
    # print(c.get_feature_names())


###############################
    stopword = ['都是']
    # 构建一个tfidf向量器,去除停用词
    tfidf = TfidfVectorizer(stop_words=stopword)

    # 给出tfidf的权重,将tfidf矩阵抽取出来
    weight = tfidf.fit_transform(sentence).toarray()
    # 给出特征名称
    word = tfidf.get_feature_names()

    print("有哪些词：")
    print(word)

    print("\n词汇表以及他们的位置索引：")
    for key, value in tfidf.vocabulary_.items():
        print(key, value)

    print("\n词频矩阵：")
    print(weight)
    print(len(weight))

    # 打印每类文本中的tfidf权重，第一个for变量所有样本，第二个for遍历某一类文档下的所有权重
    for i in range(len(weight)):
        print("这里输出的是第{}文本的词语tfidf权重".format(i))
        for j in range(len(word)):
            # 经过tfidf后，找出每篇文档相关的词，这些词就是精心挑选出来的。然后根据这些词到文档中去找到tfidf值
            print(word[j], weight[i][j])


if __name__ == '__main__':
    use_tfidf()

输出：

有哪些词：
['他乡', '地方', '旅行', '没有', '流浪']

词汇表以及他们的位置索引：
他乡 0
旅行 2
流浪 4
地方 1
没有 3

词频矩阵：
[[0.6316672  0.6316672  0.         0.44943642 0.        ]
 [0.         0.         0.6316672  0.44943642 0.6316672 ]]
2
这里输出的是第0文本的词语tfidf权重
他乡 0.6316672017376245
地方 0.6316672017376245
旅行 0.0
没有 0.4494364165239821
流浪 0.0
这里输出的是第1文本的词语tfidf权重
他乡 0.0
地方 0.0
旅行 0.6316672017376245
没有 0.4494364165239821
流浪 0.6316672017376245

 

本文参考：https://blog.csdn.net/the_lastest/article/details/79093407