jieba库及wordcloud库的使用

知识内容：

1.jieba库的使用

2.wordcloud库的使用

 

参考资料：

https://github.com/fxsjy/jieba

https://blog.csdn.net/fontthrone/article/details/72775865

 

 

 

一、jieba库的使用

1.jieba库介绍

jieba是优秀的中文分词第三方库，使用pip安装后可以使用其来对中文文本进行分词

特点：

• 支持三种分词模式：

  • 精确模式，试图将句子最精确地切开，适合文本分析，单词无冗余；
  • 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义，存在冗余；
  • 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

• 支持繁体分词

• 支持自定义词典

• MIT 授权协议

 

 

2.jieba库方法

(1)jieba库3种分词方法(3种模式)

3种模式对应的方法如下：

• cut(s)和lcut(s) 　　　　　　　　                   # 精确模式
• lcut(s, cut_all=True) 　　　　                        # 全模式(存在冗余)
• cut_for_search(s)和lcut_for_search(s) 　　  # 搜索模式(存在冗余)

注：cut()和lcut()的不同：cut返回的是生成器，lcut返回的是列表。cut_for_search()和lcut_for_search()也是前者返回生成器，后者返回列表

另外：

• cut 方法lcut方法接受三个输入参数: 需要分词的字符串；cut_all 参数用来控制是否采用全模式；HMM 参数用来控制是否使用 HMM 模型
• cut_for_search 方法和lcut_for_searchlcut_for_search接受两个参数：需要分词的字符串；是否使用 HMM 模型。该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细
• 待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。注：不建议直接输入 GBK 字符串，可能无法预料地错误解码成 UTF-8

示例：

import jieba

s = "中国是一个伟大的国家"
res1 = jieba.lcut(s)                                          # 精确模式
res2 = jieba.lcut(s, cut_all=True)                            # 全模式(存在冗余)
res3 = jieba.lcut_for_search("中华人民共和国是伟大的")           # 搜索模式(存在冗余)

print(res1, res2, res3, sep="\n")

import jieba

seg_list = jieba.cut("我来到北京清华大学", cut_all=True)
print("Full Mode: " + "/ ".join(seg_list))  # 全模式

seg_list = jieba.cut("我来到北京清华大学", cut_all=False)
print("Default Mode: " + "/ ".join(seg_list))  # 精确模式

seg_list = jieba.cut("他来到了网易杭研大厦")  # 默认是精确模式
print(", ".join(seg_list))

seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造")  # 搜索引擎模式
print(", ".join(seg_list))

结果：

 

(2)向字典中添加新词或添加自定义词典

使用 add_word(word, freq=None, tag=None) 和 del_word(word) 可在程序中动态修改词典，当然也可以使用load_userdict(file_name)来导入自定义字典

最简单的用法：add_word() 直接向分词词典中添加新词

示例：

s = "李小福是创新办主任也是云计算方面的专家"
print(jieba.lcut(s))
jieba.add_word("创新办")
print(jieba.lcut(s))

 

还可以使用load_userdict(file_name)导入自定义字典

示例：

自定义字典文件dict.txt内容如下：

云计算 5
李小福 2 nr
创新办 3 i
easy_install 3 eng
好用 300

s = "李小福是创新办主任也是云计算方面的专家"
print(jieba.lcut(s))
jieba.load_userdict("dict.txt")
print(jieba.lcut(s))

 

 

3.文本词频统计通用代码

import string
import jieba
# 统计哈姆雷特和三国演义的词频


# 统计hamlet的词频 -> 可以用做英文的通用分词和统计
class Hamlet(object):
    def __init__(self, name):
        """
        :param name: 文本名字或路径
        """
        self.text_name = name

    def get_text(self):
        """
        获取文本并进行相关处理
        :return: 返回文本内容
        """
        txt = open(self.text_name, "r").read().lower()
        for ch in string.punctuation:
            txt = txt.replace(ch, " ")
        return txt

    def count(self):
        """
        统计单词出现的次数并输出结果
        """
        hamlet_txt = self.get_text()
        words = hamlet_txt.split()
        counts = {}
        for word in words:
            counts[word] = counts.get(word, 0) + 1
        items = list(counts.items())
        # key指定用列表中每一项中第二个值作为排序依据, reverse设置排序顺序 设为True的排序顺序为从大到小
        items.sort(key=lambda x: x[1], reverse=True)
        for i in range(10):
            print(items[i][0], items[i][1])


# 统计三国演义中人物名字的词频 -> 可以用做中文的通用分词及统计
class ThreeKindDom(object):
    def __init__(self, name):
        """
        :param name: 文本名字或路径
        """
        self.text_name = name

    def get_text(self):
        """
        获取文本并进行相关处理
        :return: 返回文本内容
        """
        txt = open(self.text_name, "r", encoding="utf-8").read()
        return txt

    def split_txt(self):
        """
        对文本进行分词
        :return: 返回分词后的列表
        """
        threekingdom_txt = self.get_text()
        words = jieba.lcut(threekingdom_txt)
        return words

    def count(self):
        """
        统计单词出现的次数并输出结果
        """
        words = self.split_txt()
        # excludes为要去掉的词
        excludes = {"将军", "却说", "二人", "不可", "荆州", "不能", "如此", "商议", "如何", "左右",
                    "军马", "引兵", "军士", "次日", "主公", "大喜", "天下", "东吴", "于是", "今日", "魏兵"}
        counts = {}
        for word in words:
            rword = word
            if len(word) == 1:
                continue
            # 对一些特殊的词进行处理
            elif word == "诸葛亮" or word == "孔明" or word == "孔明曰":
                rword = "孔明"
            elif word == "关公" or word == "云长":
                rword = "关羽"
            elif word == "玄德" or word == "玄德曰":
                rword = "刘备"
            elif word == "孟德" or word == "丞相":
                rword = "曹操"
            counts[rword] = counts.get(rword, 0) + 1
        for word in excludes:
            del counts[word]
        items = list(counts.items())
        # key指定用列表中每一项中第二个值作为排序依据, reverse设置排序顺序 设为True的排序顺序为从大到小
        items.sort(key=lambda x: x[1], reverse=True)
        for i in range(8):
            print(items[i][0], items[i][1])


if __name__ == '__main__':
    # s1 = Hamlet("hamlet.txt")
    # s1.count()

    s2 = ThreeKindDom("threekingdoms.txt")
    s2.count()

 

 

 

二、wordcloud库的使用

1.wordcloud库介绍

wordcloud库是基于Python的词云生成类库,很好用,而且功能强大

词云如下所示：

 

 

2.wordcloud库基本使用

实例：

import wordcloud

c = wordcloud.WordCloud()                           # 生成词云对象     
c.generate("wordcloud by Python")                   # 加载词云文本
c.to_file("wordcloud.png")                          # 输出词云文件    

WordCloud方法的参数如下：

• width：指定词云对象生成的图片的宽度(默认为200px)
• height：指定词云对象生成的图片的高度(默认为400px)
• min_font_size：指定词云中字体最小字号，默认为4
• max_font_size：指定词云中字体最大字号
• font_step：指定词云中字体之间的间隔，默认为1
• font_path：指定字体文件路径
• max_words：指定词云中能显示的最多单词数，默认为200
• stop_words：指定在词云中不显示的单词列表
• background_color：指定词云图片的背景颜色，默认为黑色

 

指定词云形状：

import jieba
import wordcloud
from scipy.misc import imread

mask = imread("yun.png")                # 读取图片数据到mask中

f = open("文档.txt", "r", encoding="utf-8")
data = f.read()
f.close()

ls = jieba.lcut(data)                   # 分词
txt = " ".join(ls)                      # 将列表中的单词连接成一个字符串

w = wordcloud.WordCloud(mask=mask)      # 指定词云形状
w.generate(txt)
w.to_file("output.png")

 

 

3.生成词云通用代码

import jieba
import wordcloud
from scipy.misc import imread


def make_cloud(input_file, output_file, **kwargs):
    """
    制作词云的通用代码
    :param input_file: 输入文本的路径或名字
    :param output_file: 输出图片的路径或名字
    :param kwargs:   WordCloud的参数(width、height、background_color、font_path、max_words)
    :return:
    """
    width = kwargs.get("width")
    height = kwargs.get("height")
    background_color = kwargs.get("background_color")
    font_path = kwargs.get("font_path")
    max_words = kwargs.get("max_words")

    f = open(input_file, "r", encoding="utf-8")
    data = f.read()
    f.close()

    ls = jieba.lcut(data)                   # 分词
    txt = " ".join(ls)                      # 将列表中的单词连接成一个字符串

    w = wordcloud.WordCloud(width=width, height=height, background_color=background_color, font_path=font_path,
                            max_words=max_words)
    w.generate(txt)
    w.to_file(output_file)


def make_cloud_png(input_file, output_file, png_file, **kwargs):
    """
    用特殊图形制作词云的通用代码
    :param input_file: 输入文本的路径或名字
    :param output_file: 输出图片的路径或名字
    :param png_file:  设置词云的图片形状的文件路径或名字
    :param kwargs: WordCloud的参数(width、height、background_color、font_path、max_words)
    :return:
    """
    width = kwargs.get("width")
    height = kwargs.get("height")
    background_color = kwargs.get("background_color")
    font_path = kwargs.get("font_path")
    max_words = kwargs.get("max_words")
    mask = imread(png_file)

    f = open(input_file, "r", encoding="utf-8")
    data = f.read()
    f.close()

    ls = jieba.lcut(data)                   # 分词
    txt = " ".join(ls)                      # 将列表中的单词连接成一个字符串

    w = wordcloud.WordCloud(width=width, height=height, background_color=background_color, font_path=font_path,
                            max_words=max_words, mask=mask)
    w.generate(txt)
    w.to_file(output_file)