python中jieba库的介绍和应用

jieba库作为python中的第三方库,在平时是非常实用的,例如一些网站就是利用jieba库的中文分词搜索关键词进行工作。

一、安装环境

window + python

二、安装方式

在电脑命令符(cmd)中直接写进下面的语句:pip install jieba    即可

三、jieba库分词的基本原理

1、利用中文词库,分析汉字与汉字之间的关联几率

2、还有分析汉字词组的关联几率

3、还可以根据用户自定义的词组进行分析

四、jieba库三种模式和对应的三个函数

精确模式 : 把文本精确的切分开,不存在冗余单词   (就是切分开之后一个不剩的精确组合) 

全模式 : 把文本中所有可能的词语都扫描出来,有冗余

即: 可能有一个文本,可以从不同的角度来切分,变成不同的词语。在全模式下把不同的词语都挖掘出来

搜索引擎模式:在精确模式基础上,对长词语再次切分

函数 对应模式
lcut(s) 精确模式,没有多余
lcut(s,cut_all=Ture) 全模式,有多余,长词组
lcut_for_search(s) 搜索引擎模式,有多余,长词组

例如:

以上就是jieba库的一些基本的知识。

 五、jieba库词频统计实例

利用jieba库找出一篇文章中的关键词

1、先把文章存为记事本的txt文件

2、利用结巴库

代码如下:

 1 import jieba
 2 txt = open("jiebatxt.txt","r", encoding = 'GBK').read()  #读取已存好的txt文档
 3 words = jieba.lcut(txt)          #进行分词
 4 counts = {}
 5 for word in words:
 6     if len(word)== 1:            #去掉标点字符和其它单字符
 7         continue
 8     else:
 9         counts[word] = counts.get(word, 0) + 1  #计数
10 items = list(counts.items())    #把对象对象转化为列表形式,利于下面操作
11 
12 #sort()  函数用于对原列表进行排序,如果指定参数,则使用比较函数指定的比较函数
13 #reverse 排序规则,reverse = True 降序, reverse = False 升序(默认)
14 #key 是用来比较的参数
15 
16 items.sort(key=lambda x: x[1], reverse = True)
17 for i in range(10):
18     word, count= items[i]
19     print("{0:<10}{1:>5}".format(word, count))

得出结果:

 还有一种就是词云图显示,具体请进入下面链接:

https://www.cnblogs.com/liyanyinng/p/10652472.html

可以先看效果:

 

posted @ 2019-06-01 15:12  乘“疯”破浪  阅读(10789)  评论(0编辑  收藏  举报