中文词频统计及词云制作

1.中软国际华南区技术总监曾老师还会来上两次课,同学们希望曾老师讲些什么内容?

 直接教我们使用python做更厉害的大程序

 

2.中文分词

  1. 下载一中文长篇小说,并转换成UTF-8编码。
  2. 使用jieba库,进行中文词频统计,输出TOP20的词及出现次数。

(**两项选做,此次作业要求不能雷同。)

import jieba
we=open('abc.txt','r').read()
wa=jieba.cut(we)
news=list(wa)
dic={}
exp={'','','','','','','\n','','',' ','','','-'}
keys=set(news)-exp
for i in keys:
    dic[i]=news.count(i)
a=list(dic.items())
a.sort(key=lambda x:x[1],reverse=True)
for i in range(20):
    print(a[i])

         3.**排除一些无意义词、合并同一词。

{'说话', '眼圈', '编辑', '', '数目', '不妨', '气倒', '', '', '机锋', '一会儿', '', '', '', '', '', '私奔', '干坏事', '', '还有', '再不去', '', '做事', '', '力争', '一字', '这事', '哪一天', '商量', '不痛不痒', '', '知道', '打电话', '交代', '身体', '', '得来', '眼睫毛', '一壁', '静睡', '', '', '爷儿俩', '', '', '奶奶', '不会', '脸长', '报馆', '徒乱人意', '应该', '皱眉', '昨天', '准要', '', '见证', '当局', '股东', '留学', '当心', '你好', '姑爷', '进门', '', '晚饭', '', '节枝', '计较', '', '传说', '告诉', '', '斗鸡', '抽屉', '心跳', '你方', '', '外面', '', '旧历', '总算', '也许', '', '正要', '', '', '深明大义', '', '会理', '离馆', '一个', '儿子', '', '', '仿佛', '', '气节', '家养', '昨天晚上', '打死', '', '愿意', '大事', '', '留点', '', '毒死', '杀死', '', '', '英文歌', '睡熟', '王先生', '圣诞夜', '多些', '', '闹翻', '足智多谋', '往往', '失声', '我通', '牵线', '办公', '希望', '问鸿渐', '解释', '经验', '', '', '学生', '', '太太', '', '', '回乡', '', '', '回家', '立着', '脸说', '回来', '方面', '一定', '第一个', '不便', '不必', '', '重托', '', '一句', '先生', '带上', '', '', '有事', '', '送阅', '安慰', '事情', '鼻息', '对付', '', '空得', '脸皮', '千方百计', '寒喧', '', '凑个', '半年', '', '万万', '不能', '总编辑', '跟着', '呕气', '一番', '免得', '性急', '那些', '造成', '一路', '', '', '起来', '溜掉', '', '孑身', '右脚', '', '脸上', '', '抑制', '', '通知', '入世', '听里', '', '橘子', '出来', '简单', '暧胃', '最早', '', '', '从此', '', '', '他近', '', '', '直接', '何必', '爹爹', '', '暂时', '谋事', '', '省事', '多年', '明白', '没工夫', '多多益善', '那么', '心痛', '不合', '无可挽回', '家里', '副刊', '不好', '往来', '', '微窘', '辞职信', '走来', '几百句', '', '没有', '', '', '下去', '从小', '勉强', '大家', '地笑', '收买', '管理', '开口', '只是', '挥拳', '还是', '冬至', '', '便', '事忙', '', '一切', '第一次', '李妈', '随口', '今天', '鸿渐', '办公室', '薪水', '大哥', '敌伪', '表白', '他敢', '', '早已', '坐位', '', '驴子', '工夫', '租界', '', '', '', '', '劝服', '劝鸿渐', '不要', '事要', '重要', '分晓', '董事会', '美国', '咱们', '当天', '他们', '好不好', '提出', '', '时候', '丈夫', '笑痛', '美丽', '', '因为', '怏怏', '母亲', '经济', '同意', '以后', '慷慨', '鸦雀无声', '眼泪', '', '以为', '一趟', '书面', '心里', '', '必有', '定神', '假使', '出面', '两团', '', '', '做菜', '怦怦', '', '不像', '', '这儿', '窘道', '只有', '不久', '', '做个', '', '柔嘉', '那天', '满不在乎', '', '再说', '另生', '可能', '不过', '律师', '爸爸', '方针', '两种', '反而', '', '大有', '正在', '可替', '洗脸', '什么', '', '', '', '怄气', '老太太', '一一', '夺眶而出', '出门', '', '借口', '家务', '办不到', '作势', '三闾', '饭碗', '认为', '', '上床', '表情', '迎上去', '', '回家路上', '人来', '看清', '暗笑', '抚慰', '有人', '', '', '全要', '半碗', '浴室', '', '热水袋', '下午', '', '表示', '', '羹饭', '现在', '先到', '姑母', '亲自', '听到', '', '难为情', '一到', '下楼', '猜出', '低头', '不踏贱', '以去', '自己', '老太爷', '说句', '', '几句', '同时', '顺便', '辛楣', '早点', '减少', '至少', '发行人', '不景气', '当然', '气坏', '别忘了', '言论', '似的', '年轻', '姐姐', '', '', '真是', '以来', '回答', '早晨', '职位', '', '感化', '卤莽', '一声', '许多', '', '', '男人', '', '有的是', '编者', '', '不用', '名字', '', '国外', '换人', '答应', '', '漱口', '可能性', '高兴', '从此以后', '层出不穷', '警告', '不懂事', '明天', '举动', '', '少说几句', '没再理', '得出', '偏要', '脸红', '苦笑', '三弟', '辩护', '', '', '重顿', '失业', '晚上', '', '老丈', '主人', '', '惊问', '老二', '这是', '宴会', '怎样', '还要', '感情', '既然如此', '喜欢', '立刻', '不先', '收到', '不如', '滋润', '听见', '出路', '同去', '诗礼人家', '前面', '印象', '决不', '', '准辞', '', '三代', '保全', '', '', '女孩子', '冷笑', '', '', '', '激烈', '小姐', '除掉', '空着', '', '你家', '', '不肯', '调匀', '回嘴', '漱过', '机关', '上楼去', '反正', '怎么', '来看', '吃坏', '明早', '', '拍电报', '熬不住', '铁青', '漠然', '近来', '饿', '推开', '', '轻松', '', '懊悔', '做梦', '不回', '大学', '委任', '时间', '随手', '回辛楣', '吃醋', '', '走得', '不到', '', '快乐', '不再', '不去', '下个', '汉奸', '缘故', '请教', '厌恶', '单独', '', '政治性', '拿糖作醋', '风声', '', '幸而', '急欲', '热心', '嘴馋', '这位', '埋怨', '虽非', '', '分不出', '欺负', '平时', '河水不犯井水', '决心', '我要', '何况', '毛病', '公婆', '替人', '', '', '东西', '自由', '三句话', '椅子', '所以', '稀客', '', '', '想不出', '撩拨', '', '结果', '', '照准', '来说', '教书', '不许', '觉得', '亲手做', '上门', '她们', '便宜', '为什么', '夹袋', '', '我们', '', '', '田地', '笑了笑', '说完', '', '', '小孩子', '', '忽然', '早发', '说不出', '只好', '私人', '当初', '随时', '以外', '夺口', '一路上', '否则', '', '资料室', '女人', '', '这个', '', '消息', '', '', '躺下去', '各人', '国内新闻', '', '讲讲', '合则', '就算', '大人', '', '一着', '道歉', '这种', '参禅', '一点', '地说', '他会', '继续', '', '', '中饭', '闭眼', '打了个', '正义', '鼻梁', '', '看看', '折扣', '这次', '', '叮嘱', '热闹', '', '在家', '', '', '', '余地', '', '不敢', '丈人', '毕业', '', '偏偏', '辞职', '逃出来', '难民', '回去', '', '一点点', '', '吃饭', '', '', '吃亏', '贪小', '以及', '', '利而', '', '准备', '可以', '去职', '痛快', '苦劝', '空口', '宁可', '大义', '', '', '吃些', '', '当时', '泛泛', '', '批准', '商量一下', '', '挽留', '相处', '皱一皱', '', '电话', '讨论', '夫妇', '', '用人', '', '媳妇', '新闻', '上公', '恨不能', '耳朵', '老家', '赞成', '你们', '成天', '并且', '父亲', '回身', '', '胃痛', '', '皮鞋', '坏到', '找条', '棉花', '毒药', '', '不争气', '口角', '', '', '当夜', '事实上', '新娘', '', '', '下帖子', '莽撞', '', '贵人', '风头', '下全', '恐吓信', '', '不来', '', '其余', '尽力', '原意', '为了', '', '撵走', '正人', '结束', '七点钟', '不是', '此处'}

 

         4. **使用wordcloud库绘制一个词云。

 

posted on 2017-09-25 11:47  31黄智涛  阅读(780)  评论(0编辑  收藏  举报