python——jieba分词过程

 1 import jieba
 2 """函数2:分词函数"""
 3 def fenci(training_data):
 4     """-------------------------------------------------------
 5     seg_list = jieba.cut("他来到上海交通大学", cut_all=True)
 6     print("【全模式】:" + "/ ".join(seg_list))
 7     他/ 来到/ 上海交通大学
 8     ----------------------------------------------------------"""
 9     seg_list = jieba.cut(training_data)             # 默认是精确模式
10     training_ci = " ".join(seg_list)                # 空字符串中join加入分词后的词            
11     training_ci = training_ci.split()               # 以空格符作为分界线进行分割,保存为list
12     return training_ci
13 training_data="他来到上海交通大学"
14 training_ci=fenci(training_data)
15 print("training_ci1",training_ci)

 

 

1 training_ci 他 来到 上海交通大学
2 training_ci ['', '来到', '上海交通大学']

 

posted on 2019-04-24 22:56  AI大道理  阅读(336)  评论(0编辑  收藏  举报

导航